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图 灵 社 区 的 电子 书 没有 采用 专 有 客 
户 端 ， 您 可 以 在 任意 设备 上 ， 用 自 
己 喜欢 的 浏览 器 和 PDF 阅读 器 进行 
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但 您 购买 的 电子 书 仅 供 您 个 人 使 
用 ,未 经 授权 ， 不 得 进行 传播 。 
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权 。 
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软件 架构 师 ， 开 发 运 维 工程 师 ， 最 近 几 年 
主持 开发 了 很 多 Python 软 件 项 目 。 他 是 多 
种 开源 技术 方面 的 专家 ， 对 于 在 线 学 习 平 
台 、Web 应 用 平台 、 敏 捷 软件 开发 等 技术 
有 深入 的 研究 。 从 1999 年 开始 ， 他 一 直 在 
部 署 Linux 和 开源 软件 。 他 应 邀 参与 了 2009 
年 和 2010 年 的 谷歌 编程 之 夏 ， 为 开源 项 目 
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安道 
人 子 人 夫人 父 ， 机 械 工程 师 ， 翻 译 爱好 
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内 容 提 要 


本 书 介绍 了 现实 世界 中 各 种 网 络 任务 的 真实 示例 , 通过 70 多 篇 攻略 讨论 了 Python 网 络 编程 的 高 阶 话题 ， 
包括 编写 简单 的 网 络 客户 端 和 服务 器 、HTTP 协议 网 络 编程 、 跨 设备 编程 、 屏 幕 抓 取 以 及 网 络 安全 监控 ， 等 
等 。 本 书 可 以 作为 任何 一 门 网 络 编程 课程 中 培养 实践 技能 的 补充 材料 。 

本 书 适合 网 络 程序 员 、 系 统 / 网 络 管理 员 及 Web 应 用 程序 开发 人 员 阅 读 。 
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本 书 中 文 简体 字 版 由 Packt Publishing 授 权 人 民 邮 电 出 版 社 独家 出 版 。 未 经 出 版 者 书面 许可 ， 
不 得 以 任何 方式 复制 或 抄袭 本 书 内容 。 
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很 高 兴 看 到 本 书 出 版 了 , 我 要 感谢 所 有 为 本 书 的 出 版 做 出 贡献 的 人 。 本 书 是 Python 网 络 编程 
方面 的 探索 性 指南 ， 涉 及 了 很 多 网 络 协议 ,例如 TCP/UDP、HTTP/HTTPS 、FTP、SMTP 、POP3、 
IMAP、CGI 等 。Python 功 能 强大 且 具 交互 性 , 用 它 来 开发 解决 实际 问题 的 脚本 是 一 种 享受 ， 比 如 
处 理 网 络 和 系统 管理 操作 、 开 发 Web 应 用 、 与 本 地 和 远程 网 络 交互 、 捕 获 并 分 析 低层 网 络 数据 包 ， 
等 等 。 本 书 的 主要 目的 是 教 你 动手 完成 这 些 任 务 ， 因 此 不 会 涉及 太 多 理论 ， 而 是 注重 实践 。 


写作 本 书 的 过 程 中 我 一 直 记 着 要 遵守 “开发 运 维 ”的 理念 , 开发 者 或 多 或 少 都 要 负责 一 些 运 
AE, 即 部 署 应 用 程序 以 及 管理 它 的 方方面面 , 例如 管理 远程 服务 器 、 监 控 、 扩 放 以 及 性 能 优化 等 。 
书 中 用 到 了 很 多 第 三 方 开源 Python 库 ， 有 效 解决 了 多 种 不 同 的 问题 。 其 中 很 多 库 我 每 天 都 用 , o8 
过 它们 自动 化 运行 开发 和 运 维 任务 简直 是 一 种 享受 。 例 如 ， 我 使 用 Fabric 自 动 完 成 软件 开发 过 程 
中 的 任务 。 其 他 库 也 各 有 各 的 用 处 ,例如 搜索 互联 网 、 屏 幕 抓 取 、 在 Python 脚本 中 发 送 电 子 邮件 。 


希望 你 能 从 本 书 的 攻略 中 受益 , 并 根据 需求 扩展 它们 , 让 其 功能 更 强大 , 用 起 来 更 得 心 应 手 。 























































































































本 书 内 容 


第 1 章 “ 套 接 字 、IPv4 和 简单 的 客户 端 /服务 器 编程 ”通过 多 个 小 型 任务 讲解 Python 的 核心 网 
络 库 ， 教 你 开发 一 个 客户 端 /服务 顺 程序 。 


第 2 章 “ 使 用 多 路 复 用 套 接 字 IO 提升 性 能 ”讨论 很 多 使 用 内 置 库 和 第 三 方 库 扩 放 客 户 端 /服务 
器 程序 的 实用 技术 。 


第 3 章 “IPv6 、Unix 域 套 接 字 和 网 络 接口 ”主要 关注 本 地 设备 的 管理 和 本 地 网 络 的 维护 。 


第 4 章 “HTTP 协 议 网 络 编程 ”开发 一 个 多 功能 迷你 命令 行 浏览 器 ， 可 以 提交 表单 、 人 处理 
cookie 、 管 理 分 段 下 载 、 压 缩 数 据 ， 还 能 通过 HTTPS 交 付 安全 内 容 。 


第 5 章 “ 电 子 邮件 协议 、FTP 和 CGI 编程 ” 带 你 一 起 体验 自动 处 理 FTP 和 电子 邮件 相关 任务 的 
乐趣 ， 例 如 管理 Gmail 账户 、 使 用 脚本 收发 邮件 ， 还 要 为 Web 应 用 开发 一 个 留言 板 。 


第 6 章 “ 屏 幕 抓 取 和 其 他 实用 程序 ”介绍 如 何 使 用 多 个 第 三 方 Python 库 实现 一 些 实际 的 任务 ， 
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例如 在 谷歌 地 图 上 找到 公司 的 位 置 、 从 维基 百科 中 抓 取信 息 、 在 GitHub 中 搜索 代码 仓库 ， 以 及 从 
BBC 读 取 新 闻 。 

第 7 章 “ 跨 设备 编程 ” 带 你 体验 如 何 使 用 SSH 自 动 执 行 系统 管理 和 部 署 任务 。 使 用 SSH, 在 你 
的 笔记 本 电脑 上 就 可 以 远程 执行 命令 、 安 装 包 ， 或 者 架设 新 网 站 。 

第 8 章 “ 使 用 Web 服 务 : XML-RPC、SOAP 和 REST” 介 绍 不 同 的 API 协 议 ， 例 如 XML-RPC、 
SOAP 和 REST。 使 用 这 些 协议 可 以 通过 编程 的 方式 从 任何 网 站 或 Web 服 务 中 读 取 信息 ， 或 者 与 之 
交互 。 例 如 ， 可 以 在 亚马逊 或 谷歌 中 搜索 商品 。 

第 9 章 “ 网 络 监控 和 安全 性 ”介绍 捕获 、 存 储 、 分 析 和 处 理 网 络 数据 包 的 多 种 技术 。 了 解 这 
些 技术 之 后 ， 你 就 能 使 用 简洁 的 Python 脚 本 分 析 并 解决 网 络 安全 问题 。 













































































阅读 本 书 前 的 准备 工作 


你 要 有 一 个 可 以 使 用 的 个 人 电脑 或 者 笔记 本 电脑 ， 最 好 安装 了 某 种 现代 Linux 操 作 系统 ， 例 
如 Ubuntu Debian 或 CentOS 等 。 书 中 大 部 分 攻略 也 能 在 其 他 平台 上 运行 ,例如 Windows 和 Mac OS。 


你 还 需要 连接 互联 网 ， 以 便 安装 攻略 中 提 到 的 第 三 方 软件 库 。 如 果 不 方便 上 网 , 可 以 下 载 所 
有 第 三 方 库 ， 一 次 性 安装 好 。 


下 面 列 出 本 书 使 用 的 第 三 方 库 及 其 下 载 地 址 。 











O ntplib: https://pypi.python.org/pypi/ntplib/ 

O diesel: https://pypi.python.org/pypi/diesel/ 

D) nmap: https://pypi.python.org/pypi/python-nmap 

DD scapy: https:;//pypi.python.org/pypi/scapy 

C] netifaces: https://pypi.python.org/pypi/netifaces/ 

口 netaddr: https://pypi.python.org/pypi/netaddr 

O pyopenssl: https://pypi.python.org/pypi/pyOpenSSL 
口 pygeocoder: https://pypi.python.org/pypi/pygocoder 


D pyyaml: https://pypi.python.org/pyp/PyYAML 





Q requests: https://pypi.python.org/pypi/requests 
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C] feedparser: https://pypi.python.org/pypi/feedparser 
D paramiko: https://pypi.python.org/pypi/paramiko/ 
O fabric: https://pypi.python.org/pypi/Fabric 

O supervisor: https://pypi.python.org/pypi/supervisor 
口 xmlrpclib : https://pypi.python.org/pypi/xmlrpclib 
C SOAPpy: https://pypi.python.org/pypi/SOAPpy 


C] bottlenose: https://pypi.python.org/pypi/bottlenose 





C] construct: https://pypi.python.org/pypi/construct/ 





运行 某 些 攻略 还 要 用 到 一 些 非 Python 软件 ， 如 下 所 示 。 
O postfix: http://www.postfix.org/ 
O OpenSSHBR A28: http://www.openssh.com/ 


O MySQL 服 务 器 : http://downloads.mysql.com/ 





0 Apache2: http://httpd.apache.org/download.cgi 


本 书 读者 

如 果 你 是 网 络 程序 员 、 系 统 /网 络 管理 员 或 者 Web 程 序 开 发 者 ， 本 书 是 理想 之 选 。 你 应 该 对 
Python 编程 语言 和 TCP/PP 的 概念 有 个 基本 的 了 解 。 不 过 ， 对 初学 者 来 说 ， 在 阅读 本 书 的 过 程 中 也 
能 加 强 对 这 些 概 念 的 理解 。 本 书 也 可 作为 网 络 编程 课程 的 参考 材料 ， 用 来 培养 实践 操作 能 力 。 





























排版 约定 


阅读 本 书 时 你 会 发 现 不 同类 别 的 信息 使 用 了 不 同 的 文本 样式 ， 下 面 举例 说 明 其 中 一 些 样式 ， 
及 其 表示 的 含义 。 


文本 中 的 代码 、 数 据 库 表 名 、 文 件 扩展 名 和 用 户 输入 使 用 下 述 方式 表示 : 
如 果 想 知道 远程 设备 的 耳 地址 ， 可 以 使 用 内 置 的 库 函 数 gethostbyname ()。 
代码 块 的 表示 方法 如 下 : 














def test socket timeout(): 
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s = socket.socket(socket.AF INET, socket.SOCK STREAM) 
print "Default socket timeout: %s" $£s.gettimeout() 
s.settimeout(100) 

print "Current socket timeout: $s" $£s.gettimeout() 


命令 行 输入 和 输出 的 表示 方法 如 下 : 








$ python 2 5 echo server with diesel.py --port-8800 
[2013/04/08 11:48:32] (diesel) WARNING:Starting diesel «hand-rolled select.epoll» 





读者 反馈 

我 们 始终 期 待 收 到 读者 的 反馈 。 请 让 我 们 知道 你 对 这 本 书 的 看 法 ,喜欢 哪些 内 容 , 不 喜欢 哪 
些 内 容 。 读 者 的 反馈 对 我 们 来 说 十 分 重要 ， 这 样 我 们 才能 出 版 读者 最 需要 的 图 书 。 

常规 反馈 请 通过 电子 邮件 发 到 feedback@packtpub.com， 在 邮件 主题 中 请 注 明 书 名 。 


如 果 你 是 某 方面 的 专家 , 有 兴趣 写 一 本 书 , 或 者 想 为 其 他 书 做 贡献 , 请 阅读 我 们 的 作者 指南 ， 
地 址 是 www.packtpub.com/authors。 











客户 支持 
现在 你 已 经 拥有 了 一 本 由 Packt 出 版 的 书 ， 为 了 让 你 的 付出 得 到 最 大 回报 ， 我 们 还 为 你 提供 
了 其 他 方面 的 服务 。 





下 载 示 例 代码 


如 果 你 是 通过 http:/www.packtpub.com 的 注册 账户 购买 的 图 书 , 可 以 从 该 账户 中 下 载 相应 Packt 
图 书 的 示例 代码 。 如 果 你 是 从 其 他 地 方 购买 的 本 书 ， 可 以 访问 http:/www.packtpub.com/support， 注 
册 账 户 后 ， 我 们 将 会 为 你 发 送 一 封 附 有 示例 代码 文件 的 电子 邮件 。 























勘误 

虽然 我 们 会 全 力 确 保 书 中 内 容 的 准确 性 , 但 错误 仍 在 所 难免 。 如 果 你 在 某 本 书 中 发 现 了 错误 
(文字 错误 或 代码 错误 )， 而 且 愿 意向 我 们 提交 这 些 错误 ,我 们 感激 不 尽 。 这 样 不 仅 可 以 消除 其 他 
读者 的 疑虑 ， 也 有 助 于 改进 后 续 版 本 。 若 想 提 交 你 发 现 的 错误 ， 请 访问 http:/www.packtpub.comy/ 
submit-errata, TE "Errata Submission Form" ( 提交 勘误 表单 ) 中 选择 相应 图 书 ， 输 入 勘误 详情 。 
勘误 通过 验证 之 后 将 上 传 到 Packt 网 站 ， 或 添加 到 现 有 的 勘误 列表 中 。 若 想 查 看 某 本 书 的 现 有 勘 
误 信息 ， 请 访问 http:/www.packtpub.com/support， 选 择 相 应 的 书 名 。 
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举报 盗版 


对 所 有 媒体 来 说 ， 互 联网 盗版 都 是 一 个 棘手 的 问题 。Packt 很 重视 版 权 保护 。 如 果 你 在 互联 
网 上 发 现 我 们 公司 出 版 物 的 任何 非法 复制 品 , 请 及 时 告知 我 们 网 址 或 网 站 和 名称, 以 便 我 们 采取 补 
救 措施 。 


如 果 发 现 可 疑 盗版 材料 ， 请 通过 copyright@packtpub.com 联 系 我 们 。 


你 的 举报 可 以 帮助 我 们 保护 作者 权益 , 也 有 利于 我 们 不 断 出 版 高 品质 的 
感激 。 








图 书 。 我 们 对 你 深 表 





疑难 解答 


如 果 你 对 本 书 的 任何 内 容 存 有 疑问 ,i 
力 解 决 。 





E 


H 


发 送 电 子 邮 件 到 questions@packtpub.com， 我 们 会 尽 
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套 接 字 、IPv4 和 简单 的 客户 
映 / 服 务 器 编程 








本 章 攻略 : 


口 打印 设备 名 和 IPv4 地 址 

a 获取 远程 设备 的 IP 地 址 

口 将 IPv4 地 址 转换 成 不 同 的 格式 

口 通过 指定 的 端口 和 协议 找到 服务 名 

口 主机 字 节 序 和 网 络 字 节 序 之 间 相 互 转换 
口 设 定 并 获取 默认 的 套 接 字 超时 时 间 

口 优雅 地 处 理 套 接 字 错 误 

O 修改 套 接 字 发 送 和 接收 的 缓冲 区 大 小 

a 把 套 接 字 改 成 阻塞 或 非 阻塞 模式 

口 重用 套 接 字 地 址 

口 从 网 络 时 间 服 务 需 上 获取 并 打印 当前 时 间 
O 编写 一 个 SNTP 客 户 端 

口 编写 一 个 简单 的 回 显 客户 端 /服务 顺应 用 



































本 章 通 过 一 些 简单 的 攻略 介绍 Python 的 核心 网 络 库 ,Python 的 socket 模 块 提 供 了 类 方法 和 实 
例 方 法 ,二 者 的 区 别 在 于 使 用 类 方法 时 不 需要 创建 套 接 字 对 象 实例 。 这 是 一 种 很 直观 的 方法 。 例 
如 ， 打 印 设备 的 人 P 地 址 不 需要 创建 套 接 字 对 象 ， 而 只 需 调 用 套 接 字 的 类 方法 。 但是， 如果 要 把 数 
据 发 送 给 服务 器 程序 , 那么 创建 一 个 套 接 字 对 象 来 处 理 具体 的 操作 则 更 加 自然 。 本 童 介绍 的 攻略 
可 以 分 成 如 下 三 类 : 


口 前 几 个 攻略 使 用 类 方法 获取 关于 主机 、 网 络 以 及 目标 服务 的 有 用 信息 ; 
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第 1 章 套 接 字 、IPv4 和 简单 的 客户 端 /服务 器 编程 








口 随后 的 几 个 攻略 使 用 实例 方法 ， 演 示 了 常用 的 套 接 字 操作 ， 例 如 处 理 套 接 字 超 时 、 缓 冲 
区 大 小 和 阻塞 模式 等 ; 

口 最 后 ， 结 合 使 用 类 方法 和 实例 方法 开发 客户 端 ， 执 行 一 些 实际 的 任务 ， 例 如 使 设备 时 间 
与 网 络 服务 器 同 步 ， 编 写 通用 的 客户 端 /服务 需 脚 本 。 


你 可 以 使 用 本 童 演示 的 方法 编写 自己 的 客户 端 /服务 表 应 用 。 



































1.2 打印 设备 名 和 IPv4 地 址 





有 时 ， 你 需要 快速 查看 设备 的 某 些 信息 ， 例 如 主机 名 、 卫 地 址 和 网 络 接口 的 数量 等 。 这 些 信 


息 使 用 Python 脚本 很 容易 获取 。 


1.2. 











1 准备 工作 
编写 代码 之 前 先 要 在 设备 上 安装 Python。 大 多 数 Linux 发 行 版 都 预 装 了 Python 。 如 果 使 用 微软 




















Windows 操 作 系统 ， 可 以 从 Python 的 网 站 上 下 载 二 进 制 文件 : http://www.python.org/download/。 





要 了 解 系统 是 否 已 经 安装 了 Python , 可 以 查阅 操作 系统 的 文档 。 在 设备 上 安装 好 Python 之 后 ， 


可 以 在 命令 行 中 输入 python ， 举 试 打开 Python 解释 器 。 输 入 python 后 应 该 显示 解释 器 提示 符 


>>>, 


1.2 


具体 的 输出 如 下 所 示 : 


~$ python 

Python 2.7.1+ (r271:86832, Apr 11 2011, 18:05:24) 

[GCC 4.5.2] on linux2 

Type "help", "copyright", "credits" or "license" for more information. >>> 


.2 ”实战 演练 





这 个 攻略 很 简短 ， 可 以 直接 写 在 Python 解 释 髓 中 。 
首先 ， 使 用 下 面 的 命令 导入 Python 中 的 socket 库 : 








>>> import socket 


然后 ， 调 用 socket 库 提供 的 gethostname () 方 法 ,把 结果 保存 在 一 个 变量 中 ， 如 下 所 示 : 








>>> host name = socket.gethostname() 

>>> print "Host name: %s" %host name 

Host name: debian6 

>>> print "IP address: %s" ?ssocket.gethostbyname (host name) 
IP address: 127.0.1.1 


这 些 操作 可 以 使 用 内 置 的 类 方法 ， 定 义 成 一 个 独立 的 函数 print_machine_info() 。 
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我 们 要 在 常用 的 _ main_ 代码 块 中 调用 这 个 函数 。 运行 时 ，Python 会 为 某 些 内 部 变量 赋值 ， 
例如 __name 。 在 这 里 ， name 表示 调用 程序 的 进程 名 。 如 果 在 命令 行 中 运行 脚本 ( 如 后 面 
的 命令 所 示 )，_ name 的 值 是 _main 。 但 是 ， 如 果 在 其 他 脚本 中 导入 ,情况 就 不 同 了 。 也 
就 是 说 ， 如 果 在 命令 行 中 调用 这 个 模块 ， 会 自动 运行 brint_machine_info() 函数 ;如果 在 其 
他 脚本 中 导入 ， 用 户 就 要 手动 调用 这 个 函数 。 


代码 清单 1-1 展 示 了 如 何 获取 设备 的 信息 ， 如 下 所 示 : 





























#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter -1 

# This program is optimized for Python 2.7. It may run on any 
# other Python version with/without modifications. 


import socket 


def print machine info(): 
host name = socket.gethostname() 
ip address = socket.gethostbyname (host name) 
print "Host name: $s" % host name 
print "IP address: $s" $ ip address 


if name == ' main 








print machine info() 
若 想 运行 这 个 脚本 ， 要 在 命令 行 中 指定 源码 文件 ， 如 下 所 示 : 
$ python 1 1 local machine info.py 


在 我 的 设备 上 ， 显 示 了 如 下 输出 : 








Host name: debian6 
IP address: 127.0.0.1 


在 你 的 设备 上 ， 输 出 的 内 容 根据 系统 的 主机 配置 会 有 所 不 同 。 


1.2.3 ”原理 分 析 


import socket 语 句 导 和 人 Python 提供 的 一 个 核心 网 络 库 。 然 后 调用 两 个 工具 水 数 : 
gethostname () 和 gethostbyname (host name). 在 命令 行 中 可 以 输入 help (socket .geth- 
ostname) 查看 帮助 信息 , 或 者 在 浏览 器 中 访问 http://docs.python.org/3/library/socket.html。 在 命令 
行 中 查看 这 两 个 函数 的 帮助 信息 ， 得 到 的 输出 如 下 : 





gethostname(...) 
gethostname() -> string 
Return the current host name. 


gethostbyname(...) 


图 灵 社区 会 员 木头 |bj(flt0426@163.com) 专 享 尊重 版 权 


4 BIF FRF, IPeA 和 简单 的 客户 端 /服务 器 编程 





gethostbyname(host) -> address 
Return the IP address (a string of the form '255.255.255.255') for a host. 


一 个 函数 没有 参数 ， 返 回 所 在 主机 或 本 地 主机 的 名 字 。 第 二 个 函数 接收 一 个 参数 
hostname， 返 回 对 应 的 了 下地 址 。 





1.8 获取 远程 设备 的 IP 地 址 


有 了 时 需要 把 设备 的 主机 名 转换 成 对 应 的 人 P 地 址 , 例如 快速 查询 域名 。 本 攻略 介绍 一 个 简单 的 
函数 来 完成 这 一 操作 。 





1.3.1 实战 演练 


如 果 想 知道 远程 设备 的 JP 地 址 ， 可 以 使 用 内 置 的 库 函 数 gethostbyname () ， 其 参数 是 远程 
设备 的 主机 名 。 











这 里 ， 我们 要 调用 的 是 类 函数 gethostbyname ()。 让 我 们 来 看 一 下 这 个 简短 的 代码 片段 。 
代码 清单 1-2 展 示 了 如 何 获取 远程 设备 的 人 P 地 址 ， 如 下 所 示 : 








#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 1 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import socket 


def get remote machine info(): 
remote host - 'www.python.org' 
try: 
print "IP address: $s" $socket.gethostbyname(remote host) 
except socket.error, err msg: 
print "£s: $s" £$(remote host, err msg) 





Af name == '_ main, 
get remote machine info() 


运行 上 述 代 码 会 得 到 以 下 输出 : 








$ python 1 2 remote machine info.py 
IP address of www.python.org: 82.94.164.162 





1.3.2 ”原理 分 析 


这 个 攻 用 把 gethostibynamel ) 方 法 包装 在 用 户 定义 的 get_remote_machine_info() PK 
数 中 ,还 引入 了 异常 处 理 的 概念 。 如 上 述 代 码 所 示 ， 我 们 把 主要 的 函数 调用 放 在 try-except 块 
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中 ， 这 就 意味 着 ， 如 果 执 行 图 数 gethostbyname () 的 过 程 中 发 生 了 错误 ， 这 个 错误 将 由 
try-except 块 处 理 。 


假如 我 们 修改 remote_host 参 数 的 值 ， 把 www .python .org 改 成 一 个 不 存在 的 域名 ， 例 如 
www.pytgo.org， 然 后 执行 下 述 命令 : 


$ python 1 2 remote machine info.py 
www.pytgo.org: [Errno -5] No address associated with hostname 


tzy-except 块 捕获 了 错误 , 并 向 用 户 显示 了 一 个 错误 消息 , 说 明 域名 www.pytgo.org 没 有 
对 应 的 IP 地 址 。 





1.4 3& IPv4 地 址 转换 成 不 同 的 格式 


如 果 要 使 用 低层 网 络 函数 ， 有 时 普通 的 字符 串 形 式 的 耳 地 址 并 不 是 很 有 用 ,需要 把 它们 转换 
成 打包 后 的 32 位 二 进 制 格式 。 











1.4.4 实战 演练 
Python 的 socket 库 提供 了 很 多 用 来 处 理 不 同 IP 地 址 格式 的 函数 ， 这 里 我 们 使 用 其 中 的 两 个 : 


inet_aton() 和 inet_ntoa()。 


我 们 来 定义 convert_ip4_address O 函数 ， 调 用 inet_aton() 和 inet_ntoa() 转换 也 地 
址 。 我 们 要 使 用 两 个 示例 了 了 地址: 127.0.0.1 和 192.168.0.1。 


代码 清单 1-3 展 示 了 如 何 定 义 convert_ip4_adqdqress O PAZ, W P I: 





d$!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 1 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import socket 
from binascii import hexlify 


def convert ip4 address(): 
for ip addr in ['127.0.0.1', '192.168.0.1']: 
packed ip addr = socket.inet aton(ip addr) 
unpacked ip addr = socket.inet ntoa(packed ip addr) 
print "IP Address: $s => Packed: $s, Unpacked: %s"\ 
$(ip addr, hexlify(packed ip addr), unpacked ip addr) 


AME name == ' main 
convert ip4 address() 


现在 ， 运 行 这 个 攻略 ， 会 看 到 以 下 输出 : 
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$ python 1 3 ip4 address conversion.py 





IP Address: 127.0.0.1 => Packed: 7£000001, Unpacked: 127.0.0.1 
IP Address: 192.168.0.1 => Packed: c0a80001, Unpacked: 192.168.0.1 


1.4.2 ”原理 分 析 








在 这 个 攻略 中 ， 使 用 for-in 语 名 把 两 个 字符 串 形 式 的 卫 地 址 转换 成 打包 后 的 32 位 二 进 制 格 











式 ， 而 且 还 调用 了 binascii 模 块 中 的 hexlify 函 数 ， 以 十 六 进 制 形式 表示 二 进 制 数据 。 





1.5 通过 指定 的 端口 和 协议 找到 服务 名 
如 果 想 找到 网 络 服务 ， 最 好 知道 该 服务 运行 在 TCP 或 UDP 协议 的 哪个 端口 上 。 


1.5.4 准备 工作 





如 果 知 道 网 络 服务 使 用 的 端口 , 可 以 调用 socket 库 中 的 getservbyport () 函数 来 获取 服务 





的 名 字 。 调 用 这 个 函数 时 可 以 根据 情况 决定 是 否 提供 协议 名 。 


1.5.2 ”实战 演练 


我 们 来 定义 fing_service_name () KX, 在 Python 的 for-imn 循 环 中 调用 冰 数 getservbyport () ， 


解析 几 个 端口 ， 例 如 80 和 25。 
代码 清单 1-4 展 示 了 如 何 定义 Eind_service_name O0 FRE, "JH P TZ: 


d!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 1 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import socket 


def find service name(): 
protocolname = 'tcp' 
for port in [80, 25]: 


print "Port: $s => service name: $s" £$(port, socket.getservbyport (port, 
protocolname)) 


print "Port: %s => service name: $s" %(53, socket.getservbyport(53, 'udp')) 


if name -- ' main 
find service name() 


运行 这 个 脚本 ， 会 看 到 如 下 输出 : 
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$ python 1 4 finding service name.py 





Port: 80 => service name: http 
Port: 25 => service name: smtp 
Port: 53 => service name: domain 


1.5.3 ”原理 分 析 
在 这 个 攻略 中 ， 使 用 for-in 语 句 遍 历 一 组 变量 。 在 每 次 遍历 中 ， 获 取 端 口 对 应 的 服务 名 。 











1.6 ”主机 字 节 序 和 网 络 字 节 序 之 间 相互 转换 

编写 低层 网 络 应 用 时 , 或许 需 要 处 理 通过 电缆 在 两 台 设 备 之 间 传 送 的 低层 数据 。 在 这 种 操作 
中 , 需要 把 主机 操作 系统 发 出 的 数据 转换 成 网 络 格式 ,或 者 做 逆向 转换 ,因为 这 两 种 数据 的 表示 
方式 不 一 样 。 
1.6.1 实战 演练 


Python 的 socket 库 提供 了 将 数据 在 网 络 字 节 序 和 主机 字 节 序 之 间 相 互 转换 的 函数 。 你 可 能 
想 了 解 这 些 罚 数 ， 例 如 ntohl () 和 hton1 ()。 


我 们 来 定义 convert_integer () 图 数 ， 调 用 ntohl () 和 htonl () 类 函数 来 转换 不 同 格式 的 
数据 。 


代码 清单 1-5 展 示 了 如 何 定 义 convert_integer O B, AUF ET: 








#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter -1 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import socket 


def convert integer(): 

data - 1234 

4 32-bit 

print "Original: $s => Long host byte order: $s, Network byte order: %s"\ 
$(data, socket.ntohl(data), socket.htonl(data)) 

# 16-bit 

print "Original: %s => Short host byte order: %s, Network byte order: %s"\ 
%(data, socket.ntohs(data), socket.htons(data)) 


if name -- ' main 
convert integer() 
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运行 这 个 攻略 ， 会 看 到 以 下 输出 : 


$ python 1 5 integer conversion.py 
Original: 1234 => Long host byte order: 3523477504, Network byte order: 3523477504 
Original: 1234 => Short host byte order: 53764, Network byte order: 53764 


1.6.2 ”原理 分 析 


在 这 个 攻略 中 , 我 们 以 整数 为 例 , 演示 了 如 何 把 它 转 换 成 网 络 字 节 序 和 主机 字 节 序 。socket 
库 中 的 类 函数 ntoh1 O 把 网 络 字 节 序 转换 成 了 长 整形 主机 字 节 序 。 函 数 名 中 的 n 表 示 网 络 ; h 表 示 
主机 ; 1 表示 长 整形 ;s 表 示 短 整形 ， 即 16 位 。 

















1.7 设 定 并 获取 默认 的 套 接 字 超时 时 间 
有 时 ， 你 需要 处 理 socket 库 某 些 属性 的 默认 值 ， 例 如 套 接 字 超 时 时 间 。 








1.7.1. 实战 演练 


你 可 以 创建 一 个 套 接 字 对 象 实例 ， 调 用 gettimeout () 方法 获取 默认 的 超时 时 间 ， 调 用 
settimeout () 方 法 设 定 一 个 超时 时 间 。 这 种 操作 在 开发 服务 器 应 用 时 很 有 用 。 





在 test_socket_timeout () KCF, 首先 创建 一 个 套 接 字 对 象 , 然后 使 用 读 取 或 者 设 定 实 
例 方 法 处 理 超 时 时 间 。 





代码 清单 1-6 展 示 了 如 何 定义 test_socket_timeout () 函数 ， 如 下 所 示 : 


d!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 1 

# This program is optimized for Python 2.7. It may run on any 
# other Python version with/without modifications. 


import socket 


def test socket timeout(): 
S - socket.socket(socket.AF INET, socket.SOCK STREAM) 
print "Default socket timeout: %s" $s.gettimeout() 
s.settimeout (100) 
print "Current socket timeout: %s" %s.gettimeout () 








if name == '_ main, 
test_socket_timeout () 


运行 上 述 代 码 后 ， 你 会 看 到 它 是 如 何 修改 默认 超时 时 间 的 ， 如 下 所 示 : 
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$ python 1 6 socket timeout.py 
Default socket timeout: None 
Current socket timeout: 100.0 


1.7.2 ”原理 分 析 


在 这 段 代码 片段 中 ， 首 先 创建 了 一 个 套 接 字 对 象 。 套 接 字 构造 方法 的 第 一 个 参数 是 地 址 族 ， 
第 二 个 参数 是 套 接 字 类 型 。 然 后 ， 调 用 gettimeout () 方 法 获取 套 接 字 超时 时 间 ， 再 调用 
settimeout () 方 法 修改 超时 时 间 。 传 给 settimeout () 方 法 的 参数 可 以 是 秒 数 ( 非 负 浮 点 数 ) 
也 可 以 是 None。 这 个 方法 在 处 理 阻 塞 式 套 接 字 操 作 时 使 用 。 如 果 把 超时 时 间 设 为 None， 则 禁用 
了 套 接 字 操作 的 超时 检测 。 





























1.8 优雅 地 处 理 套 接 字 错误 


在 网 络 应 用 中 , 经 常会 遇 到 这 种 情况 : 一 方 尝试 连接 , 但 另 一 方 由 于 网 络 媒 介 失 效 或 者 其 他 
原因 无 法 响应 。Python 的 socket 库 提供 了 一 个 方法 , 能 通过 socket .error 异 常 优雅 地 处 理 套 接 
字 错 误 。 在 这 个 攻略 中 会 举 几 个 例子 。 


1.8.1 实战 演练 


我 们 来 编写 几 个 try-except 代 码 块 , 每 个 块 对 应 一 种 可 能 发 生 的 错误 。 为 了 获取 用 户 输入 ， 
可 以 使 用 argparse 模 块 ,这 个 模块 的 功能 很 强大 ,而 不 仅 是 可 以 使 用 sys . argv 解析 命令 行 参 数 。 
这 些 try-except 代 码 块 分 别 演示 了 常见 的 套 接 字 操 作 ， 例 如 创建 套 接 字 对 象 、 连 接 服务 器 、 发 
送 数据 和 等 待 应 答 。 

下 述 攻 略 使 用 几 行 代码 演示 了 如 何 处 理 异 常 。 


代码 清单 1-7 展 示 了 如 何 处理 socket .error 异 常 ， 如 下 所 示 : 














d$!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 1 

# This program is optimized for Python 2.7. It may run on any 
# other Python version with/without modifications. 


import sys 
import socket 
import argparse 


def main(): 
# setup argument parsing 
parser = argparse.ArgumentParser(description-'Socket Error Examples") 
parser.add argument('--host', action-"store", dest-"host", required-False) 
parser.add argument('--port', action-"store", dest-"port", type-int, required-False) 
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parser.add argument('--file', action-"store", dest-"file", required-False) 
given args - parser.parse args() 

host = given args.host 

port - given args.port 

filename - given args.file 











4$ First try-except block -- create socket 
try: 
S - socket.socket(socket.AF INET, socket.SOCK STREAM) 
except socket.error, e: 
print "Error creating socket: $s" $ e 
sys.exit(1) 
4$ Second try-except block -- connect to given host/port 


try: 
s.connect((host, port)) 
except socket.gaierror, e: 
print "Address-related error connecting to server: $s" $ e 
sys.exit(1) 
except socket.error, e: 
print "Connection error: $s" $ e 
sys.exit(1) 


# Third try-except block -- sending data 
try: 

s.sendall ("GET %s HTTP/1.0\r\n\r\n" $ filename) 
except socket.error, e: 

print "Error sending data: %s" % e 

sys.exit (1) 








while 1: 
# Fourth tr-except block -- waiting to receive data from remote host 
try: 
buf = s.recv(2048) 
except socket.error, e: 
print "Error receiving data: $s" $ e 
sys.exit(1) 
if not len(buf): 
break 
# write the received data 
sys.stdout.write (buf) 





if name se 1 dein "i 
main() 





1.8.2 ”原理 分 析 


在 Python 中 , 可 以 使 用 argparse 模 块 把 命令 行 参数 传人 脚本 以 及 在 脚本 中 解析 命令 行 参数 。 
这 个 模块 在 Python 2.7 中 可 用 。 如 果 使 用 较 旧 版 本 的 Python， 这 个 模块 可 以 到 “Python 包 索引 ” 
(Python Package Index， 简 称 PyPI ) 中 获取 ， 使 用 easy_install 或 pip 安 装 。 
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这 个 攻略 用 到 了 三 个 命令 行 参数 : 主机 名 、 端 口号 和 文件 名 。 上 述 脚本 的 使 用 方法 如 下 : 





$ python 1 7 socket errors.py -host=<HOST> --port=<PORT> --file=<FILE> 
如 果 提 供 的 主机 不 存在 ， 这 个 脚本 会 输出 如 下 错误 : 


$ python 1 7 socket errors.py --host-www.pytgo.org --port-8080 
--file-1 7 socket errors.py 

Address-related error connecting to server: [Errno -5] No address associated with 
hostname 


如 果 某 个 端口 上 没有 服务 ， 你 却 尝试 连接 到 这 个 端口 , 则 这 个 脚本 会 抛 出 连接 超时 异常 ， 如 
下 所 示 : 


$ python 1 7 socket errors.py --host=www.python.org --port=8080 
--file-1 7 socket errors.py 


这 个 命令 会 返回 如 下 错误 ， 因 为 主机 www.python.org 监 听 的 不 是 端口 8080: 
Connection error: [Errno 110] Connection timed out 


不 过 ， 如 果 向 正确 的 主机 、 正 确 的 端口 发 起 随意 的 请 求 ， 应 用 层 可 能 无 法 捕获 这 一 异常 。 侦 
如 ， 运 行 下 述 脚本 ， 不 会 返回 错误 ， 但 输出 的 HTML 代 码 说 明了 脚本 的 问题 : 


人 一 


$ python 1 7 socket errors.py --host-www.python.org --port-80 
--file-1 7 socket errors.py 


HTTP/1.1 404 Not found 

Server: Varnish 

Retry-After: O0 

content-type: text/html 
Content-Length: 77 

Accept-Ranges: bytes 

Date: Thu, 20 Feb 2014 12:14:01 GMT 
Via: 1.1 varnish 

Age: 0 

Connection: close 


«html» 

<head> 

<title> </title> 

</head> 

<body> 

unknown domain: «/body»«/html» 


这 个 攻略 用 到 了 四 个 try-except 块 。 除 第 二 个 块 处 理 socket .gaierror 异 常 之 外 ， 其 他 
块 都 处 理 socket ; error tW o socket .gaierror 是 地 址 相关 的 错误 。 除 此 之 外 还 有 两 种 异常 ; 
socket .herror，CAPI 中 抛 出 的 异常 ， 如 果 在 套 接 字 中 使 用 settimeout () 方 法 ， 套 接 字 超时 


后 会 抛 出 socket .timeout 异 常 。 
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1.9 修改 套 接 字 发 送 和 接收 的 缓冲 区 大 小 


很 多 情况 下 ,默认 的 套 接 字 缓 冲 区 大 小 可 能 不 够 用 。 此 时 ,， 可 以 将 默认 的 套 接 字 缓 冲 区 大 小 
改 成 一 个 更 合适 的 值 。 











1.9.1 实战 演练 
我 们 要 使 用 套 接 字 对 象 的 setsockopt () 方 法 修改 默认 的 套 接 字 绥 冲 区 大 小 。 


首先 ， 定 义 两 个 常量 : SEND_BUF_SIZE 和 RECV_BUF_SIZE。 然 后 在 一 个 函数 中 调用 套 接 字 
实例 的 setsockopt () 方 法 。 修 改 之 前 ， 最 好 先 检 查 缓冲 区 大 小 是 多 少 。 注 意 ， 发 送 和 接收 的 组 
冲 区 大 小 要 分 开设 定 。 


代码 清单 1-8 展 示 了 如 何 修改 套 接 字 的 发 送 和 接收 缓冲 区 大 小 ， 如 下 所 示 : 























#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 1 

# This program is optimized for Python 2.7. It may run on any 
# other Python version with/without modifications. 


import socket 


4096 
4096 


Un 


END BUF SIZ 
ECV BUF SIZl 





B uu 





" 


def modify buff size(): 
Sock - socket.socket(socket.AF INET, socket.SOCK STREAM ) 








# Get the size of the socket's send buffer 
bufsize = sock.getsockopt(socket.SOL SOCKET, socket.SO SNDBUF) 
print "Buffer size [Before]:$d" $bufsize 








Sock.setsockopt(socket.SOL TCP, socket.TCP NODELAY, 1) 
Sock.setsockopt( 
Socket.SOL SOCKET, 
Socket.SO SNDBUF, 
SEND BUF SIZE) 
Sock.setsockopt( 
Socket.SOL SOCKET, 
Socket.SO RCVBUF, 
RECV  BUF SIZE) 


























bufsize = sock.getsockopt(socket.SOL SOCKET, socket.SO SNDBUF) 
print "Buffer size [After]:$d" $€bufsize 





if name se * mein "s: 
modify buff size() 


运行 上 述 脚 本 后 , 会 显示 修改 套 接 字 缓冲 区 大 小 前 后 的 变化 。 根 据 你 所 用 操作 系统 的 本 地 设 
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， 得 到 的 输出 可 能 有 所 不 同 : 


[ot 


$ python 1 8 modify buff size.py 
Buffer size [Before]:16384 
Buffer size [After]:8192 





1.9.2 原理 分 析 


在 套 接 字 对 象 上 可 调用 方法 getsockopt () fllsetsockopt () 分 别 获 取 和 修改 套 接 字 对 
象 的 属性 。 setsockopt () 方 法 接收 三 个 参数 : level, 、optname 和 value。 其 中 ， optname 
是 选项 名 ，value 是 该 选项 的 值 。 第 一 个 参数 所 用 的 符号 常量 ( so_* 等 ) 可 在 socket 模 块 中 
查看 。 














1.10 ”把 套 接 字 改 成 阻塞 或 非 阻 塞 模式 


默认 情况 下 ，TCP 套 接 字 处 于 阻塞 模式 中 。 也 就 是 说 ， 除 非 完成 了 茶 项 操作 ， 和 否则 不 会 把 控 
制 权 交还 给 程序 。 例 如 ， 调 用 connect () API 后 ， 连 接 操作 会 阻止 程序 继续 往 下 执行 ， 直 到 连接 
成 功 为 止 。 很 多 情况 下 ,你 并 不 想 让 程序 一 直 等 待 服务 器 响应 或 者 有 异常 终止 操作 。 例 如 ,如果 
编写 了 一 个 网 页 浏览 器 客户 端 连 接 服务 顺 , 你 应 该 考虑 提供 取消 功能 , 以 便 在 操作 过 程 中 取消 连 
接 。 这 时 就 要 把 套 接 字 设置 为 非 阻塞 模式 。 














1.10.1 实战 演练 


我 们 来 看 一 下 在 Python 中 有 哪些 选项 。 在 Python 中 ， 套 接 字 可 以 被 设置 为 阻塞 模式 或 者 非 阻 
塞 模式 。 在 非 阻塞 模式 中 ， 调 用 API 后 ， 例 如 sena () 或 recv () 方 法 ， 如 果 遇 到 问题 就 会 抛 出 异 
常 。 但 在 阻塞 模式 中 ， 遇 到 错误 并 不 会 阻止 操作 。 我 们 可 以 创建 一 个 普通 的 TCP 套 接 字 ， 分 别 在 
阻塞 模式 和 非 阻塞 模式 中 执行 操作 实验 。 


为 了 能 在 阻塞 模式 中 处 理 套 接 字 , 首先 要 创建 一 个 套 接 字 对 象 .然后 ,调用 setblocking (1) 
把 套 接 字 设 为 阻塞 模式 ， 或 者 调用 setblocking (0) 把 套 接 字 设 为 非 阻 塞 模式 。 最 后 ， 把 套 接 字 
绑 定 到 指定 的 端口 上 上， 监听 进入 的 连接 。 


代码 清单 1-9 展 示 了 如 何 把 套 接 字 设 为 阻塞 模式 或 非 阻塞 模式 ， 如 下 所 示 : 
































d$!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 1 

# This program is optimized for Python 2.7. It may run on any 
# other Python version with/without modifications. 


import socket 
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def test socket modes(): 
S - socket.socket(socket.AF INET, socket.SOCK STREAM) 
s.setblocking(1) 
s.settimeout(0.5) 
S.bind(("127.0.0.1", 0)) 








Socket address - s.getsockname() 
print "Trivial Server launched on socket: $s" $€str(socket address) 
while(1): 

s.listen(1) 


if name -- ' main 
test socket modes() 


运行 这 个 攻略 后 ， 会 启动 一 个 简易 服务 器 ， 开 启 阻塞 模式 ， 如 下 述 命令 所 示 : 








$ python 1 9 socket modes.py 
Trivial Server launched on socket: ('127.0.0.1', 51410) 


1.10.2 ”原理 分 析 


在 这 个 攻略 中 , 我 们 把 1 传 给 setblocking () 方 法 ,启用 套 接 字 的 阻塞 模式 。 类 似 地 ， 可 以 
把 0 传 给 这 个 方法 ， 把 套 接 字 设 为 非 阻塞 模式 。 


这 个 功能 在 后 面 的 一 些 攻略 中 会 用 到 ， 到 时 再 详细 说 明 其 真正 作用 。 














1.11 重用 套 接 字 地 址 


不 管 连接 是 被 有 意 还 是 无 意 关 闭 ,， 有 时 你 想 始 终 在 同一 个 端口 上 运行 套 接 字 服务 器 。 某 些 情 
况 下 ， 如 果 客 户 端 程序 需要 一 直 连 接 指 定 的 服务 器 端口 ,这 么 做 就 很 有 用 ， 因 为 无 需 改变 服务 器 
端口 。 














1.11.1 ”实战 演练 


如 果 在 某 个 端口 上 运行 一 个 Python 套 接 字 服务 器 ,连接 一 次 之 后 便 终 止 运行 ， 就 不 能 再 使 用 
这 个 端口 了 。 如 果 再 次 连接 ， 程 序 会 抛 出 如 下 错误 : 






































Traceback (most recent call last): 
File "1 10 reuse socket address.py", line 40, in «module» 
reuse socket addr() 
File "1 10 reuse socket address.py", line 25, in reuse socket addr 
srv.bind( ('', local port) ) 
File "«string»", line 1, in bind 
Socket.error: [Errno 98] Address already in use 


这 个 问题 的 解决 方法 是 启用 套 接 字 重用 选项 sO_REUSEADDR。 
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创建 套 接 字 对 象 之 后 ， 我 们 可 以 查询 地 址 重用 的 状态 ， 比 如 说 旧 状 态 。 然 后 ， 调 用 E 
setsockopt () 方 法 , 修改 地 址 重用 状态 的 值 。 再 按照 常规 的 步 又, 把 套 接 字 绑 定 到 一 个 地 址 上 ， 
监听 进入 的 客户 端 连接 。 在 这 个 例子 中 , 我 们 要 捕获 KeypoardInterrupt 异 常 , 这 样 按 下 Ctrl+C 
键 后 ，Python 脚 本 会 终止 运行 ， 但 不 会 显示 任何 异常 消息 。 


代码 清单 1-10 展 示 了 如 何 重 用 套 接 字 地 址 ， 如 下 所 示 : 














#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 1 

# This program is optimized for Python 2.7. It may run on any 
# other Python version with/without modifications. 


import socket 
import sys 


def reuse socket addr(): 
Sock - socket.socket( socket.AF INET, socket.SOCK STREAM ) 














# Get the old state of the SO REUSEADDR option 
old state - sock.getsockopt(socket.SOL SOCKET, socket.SO REUSEADDR) 
print "Old sock state: $s" old state 














# Enable the SO REUSEADDR option 

Sock.setsockopt( socket.SOL SOCKET, socket.SO REUSEADDR, 1 ) 

new state - sock.getsockopt( socket.SOL SOCKET, socket.SO REUSEADDR ) 
print "New sock state: $s" £new state 






































local port = 8282 


srv = socket.socket(socket.AF INET, socket.SOCK STREAM) 
Srv.setsockopt(socket.SOL SOCKET, socket.SO REUSEADDR, 1) 
srv.bind( ('', local port) ) 
srv.listen(1) 
print ("Listening on port: $s " £local port) 
while True: 
try: 
connection, addr = srv.accept() 
print 'Connected by $s:$s' $ (addr[0], addr[1]) 
except KeyboardInterrupt: 
break 
except socket.error, msg: 
print '$s' $ (msg,) 




















if name -- ' main  ': 
reuse socket addr() 


这 个 攻略 的 输出 如 下 所 示 : 


$ python 1 10 reuse socket address.py 
Old sock state: 0 

New sock state: 1 

Listening on port: 8282 
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1.11.2 ”原理 分 析 

你 可 以 在 一 个 终端 窗口 运行 这 个 脚本 ， 然后 在 男 一 个 终端 窗口 中 输入 telnet localhost 
8282， 尝 试 连接 这 个 服务 器 。 关 闭 服务 器 程序 后 ， 还 可 以 使 用 同一 个 端口 再 次 连接 。 然 而， 如 
果 你 把 设 定 So_REUSEADDR 的 那 行 代码 注释 掉 ， 服 务 器 将 不 会 再 次 运行 脚本 。 






































1.12 ”从 网 络 时 间 服 务 器 获取 并 打印 当前 时 间 


很 多 程序 要 求 设备 的 时 间 精 准 ， 例 如 Unix 系 统 中 的 make 命 令 。 设 备 上 的 时 间 可 能 不 够 准确 ， 
需要 和 网 络 中 的 时 间 服 务 器 同步 。 





1.12.1 准备 工作 

你 可 以 编写 一 个 Python 客户 端 ， 让 设备 上 的 时 间 和 某 个 网 络 时 间 服 务 需 同步 。 要 完成 这 一 操 
作 ， 需要 使 用 ntplib， 通过 “网 络 时 间 协 议 ”( Network Time Protocol， 简 称 NTP ) 处 理 客户 端 
和 服务 器 之 间 的 通信 。 如 果 你 的 设备 中 没有 安装 ntpLib, 可 以 使 用 pip 或 easy_install 从 PyPI 
中 安装 ， 命 令 如 下 : 


$pip install ntplib 
































1.12.2 ”实战 演练 


我 们 先 要 创建 一 个 NTPCLient 实 例 , 然后 在 这 个 实例 上 调用 request () 方 法 , 把 NTP 服 务 器 
的 地 址 传人 方法 。 


代码 清单 1-11 展 示 了 如 何 从 网 络 时 间 服 务 器 上 获取 当前 时 间 并 打印 出 来 ， 如 下 所 示 : 











d!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 1 

# This program is optimized for Python 2.7. It may run on any 
# other Python version with/without modifications. 


import ntplib 
from time import ctime 


def print time(): 
ntp client - ntplib.NTPClient() 
response - ntp client.request('pool.ntp.org') 
print ctime(response.tx time) 


if name == '_ main, 
print_time() 
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在 我 的 设备 上 ， 运 行 这 个 攻略 后 得 到 的 输出 如 下 : 





$ python 1 11 print machine time.py 
Thu Mar 5 14:02:58 2012 





1.42.3 ”原理 分 析 


在 这 个 攻略 中 ， 我 们 编写 了 一 个 NTP 客 户 端 ， 向 NTP 服 务 器 pool .ntp .org 发 起 了 一 个 NTP 
请 求 。 响 应 使 用 ctime () 函数 打印 出 来 。 





1.13 ”编写 一 个 SNTP X Pun; 


与 前 一 个 攻略 不 同 ， 有 时 并 不 需要 从 NTP 服 务 器 上 获取 精确 的 时 间 。 遇 到 这 种 情况 ， 就 可 以 
使 用 NTP 的 简化 版 本 ， 叫 作 “ 简 单 网 络 时 间 协 议 ”。 





1.13.1 ”实战 演练 
让 我 们 不 使 用 任何 第 三 方 库 编 写 一 个 简单 的 SNTP 客 户 端 。 


首先 , 定义 两 个 常量 : NTP_SERVER 和 TIME1970。NTP_SERVER 是 客户 端 要 连接 的 服务 器 地 
Ab, TIME1970 指 1970 年 1 月 1 日 (也 叫 Epoch )。 在 http://www.epochconverter.com/ 上 可 以 查看 Epoch 
时 间 值 ， 或 者 把 时 间 转 换 成 Epoch 时 间 值 。 这 个 客户 端 通过 UDP 协议 创建 一 个 UDP 套 接 字 
( SOCK_DGRAM )， 用 于 连接 服务 器 。 然 后 ， 客 户 端 要 在 一 个 数据 包 中 把 数据 '\xlb' + 47 * 'NO' 
发 给 SNTP 服 务 嚣 。UDP 客 户 端 分 别 使 用 sendto () 和 recvfrom() 方 法 发 送 和 接收 数据 。 


服务 器 返回 的 时 间 信 息 打 包 在 一 个 数组 中 ， 客 户 端 需要 使 用 struct 模 块 取出 数据 。 我 们 所 
需 的 数据 是 数组 中 的 第 11 个 元 素 。 最 后 ， 我 们 要 从 取出 的 数据 上 减 掉 TIME1970， 得 到 真正 的 当 
前 时 间 。 


代码 清单 1-12 展 示 了 如 何 编写 这 个 SNTP 客 户 端 ， 如 下 所 示 : 


















































#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 1 

# This program is optimized for Python 2.7. It may run on any 
# other Python version with/without modifications. 


import socket 
import struct 
import sys 
import time 





NTP SERVER = "0.uk.pool.ntp.org" 
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TIME1970 = 2208988800L 





def sntp client(): 
client - socket.socket(socket.AF INET, socket.SOCK DGRAM) 
data = 'Xx1b' + 47 * 'XQ0' 
client.sendto(data, (NTP SERVER, 123)) 
data, address - client.recvfrom( 1024 ) 














if data: 

print 'Response received from:', address 
t = struct.unpack( '!1271I', data )[10] 
t -- TIME1970 





print 'NtTime-$s' % time.ctime(t) 


if name == ' main 
sntp client() 


这 个 攻略 通过 SNTP 协 议 从 网 络 时 间 服 务 右 上 获取 当前 时 间 并 打印 出 来 ， 如 下 所 示 : 

















$ python 1 12 sntp client .py 
Response received from: ('87.117.251.2', 123) 
Time-Tue Feb 25 14:49:38 2014 


1.13.2 ”原理 分 析 


这 个 SNTP 客 户 端 创建 一 个 套 接 字 连接 ， 然 后 通过 协议 发 送 数 据 。 从 NTP 服 务 器 ( 这 里 使 用 
的 是 0 .uk.pool.ntp.org ) 收 到 数据 后 ， 使 用 struct 模 块 取出 数据 。 最 后 ， 减 去 1970 年 1 月 1 
日 对 应 的 时 间 惟 ， 再 使 用 Python 内 置 的 time 模 块 提供 的 ctime () 方 法 打印 时 间 。 











1.14 编写 一 个 简单 的 回 显 客户 端 / 服 务 器 应 用 


尝试 过 Python 中 socket 模 块 的 基本 API 后 ， 现 在 我 们 来 编写 一 个 套 接 字 服 务 器 和 客户 端 。 这 
里 ， 你 将 有 机 会 利用 在 前 述 攻略 中 掌握 的 基本 知识 。 

















1.14.1 ”实战 演练 
在 这 个 例子 中 , 不管 服 务 顺从 客户 端 收 到 什么 输入 ， 都 会 将 其 回 显 出 来 。 我 们 要 使 用 Python 
中 的 argparse 模 块 ， 在 命令 行 中 指定 TCP 端 口 。 服 务 器 脚本 和 客户 端 脚本 都 要 用 到 这 个 参数 。 
我 们 先 来 编写 服务 顺 。 首 先 创建 一 个 TCP 套 接 字 对 象 。 然 后 设 定 启 用 重用 地 址 ， 这 样 想 运 行 
多 少 次 服务 器 就 能 运行 多 少 次 。 我 们 把 套 接 字 绑 定 在 本 地 设备 的 指定 端口 上 。 在 监听 阶段 ， 把 
pack1log 参 数 传人 Listen () 方 法 中 ， 让 服务 顺 在 队列 中 监听 多 个 客户 端 。 最 后 ， 等 待 客户 端 连 
接 ， 向 服务 名 发 送 一 些 数据 。 收 到 数据 后 ， 服 务 融 会 把 数据 回 显 给 客户 端 。 


代码 清单 1-13a 展 示 了 如 何 编写 回 显 应 用 的 服务 器 ， 如 下 所 示 : 
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d$!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 1 

# This program is optimized for Python 2.7. It may run on any 
# other Python version with/without modifications. 


import socket 
import sys 
import argparse 


host - 'localhost' 
data payload - 2048 
backlog = 5 


def echo server(port): 
""" A simple echo server """ 
# Create a TCP socket 
Sock - socket.socket(socket.AF INET, socket.SOCK STREAM) 
# Enable reuse address/port 
Sock.setsockopt(socket.SOL SOCKET, socket.SO REUSEADDR, 1) 
# Bind the socket to the port 
server address - (host, port) 
print "Starting up echo server on $s port $s" $ server address 
Sock.bind(server address) 
# Listen to clients, backlog argument specifies the max no. of queued connections 
sock.listen (backlog) 
while True: 
print "Waiting to receive message from client" 
client, address = sock.accept() 
data = client.recv(data payload) 
if data: 
print "Data: %s" %data 
client.send (data) 
print "sent %s bytes back to %s" % (data, address) 
# end connection 
client.close() 





























XE name sm * main '; 
parser = argparse.ArgumentParser(description-'Socket Server Example") 
parser.add argument('--port', action-"store", dest-"port", type-int, 


required-True) 
given args - parser.parse args() 
port - given args.port 
echo server(port) 


在 客户 端 代 码 中 , 我 们 要 创建 一 个 客户 端 套 接 字 , 然后 使 用 命令 行 参 数 中 指定 的 端口 连接 服 
务 器 。 客 户 端 把 消息 rest message. This will be echoed 发 送 给 服务 器 之 后 ， 立 即 就 会 在 
几 个 数据 片段 中 收 到 返回 的 消息 。 这 里 用 到 了 两 个 zy-except 块 ， 捕 获 交 互 过 程 中 发 生 的 任何 
异常 。 


代码 清单 1-13b 展 示 了 如 何 编写 回 显 程序 的 客户 端 ， 如 下 所 示 : 
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d!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 1 

# This program is optimized for Python 2.7. It may run on any 
# other Python version with/without modifications. 


import socket 
import sys 


import argparse 


host = 'localhost' 


def echo client(port): 
""" A simple echo client """ 
# Create a TCP/IP socket 
Sock - socket.socket(socket.AF INET, socket.SOCK STR 
# Connect the socket to the server 
server address - (host, port) 
print "Connecting to $s port $s" $ server address 
Sock.connect(server address) 








E 


# Send data 
ery: 
# Send data 
message = "Test message. This will be echoed" 
print "Sending %s" % message 
Sock.sendall (message) 
# Look for the response 
amount received - 0 
amount expected - len(message) 
while amount received « amount expected: 
data = sock.recv(16) 
amount received += len(data) 
print "Received: $s" % data 
except socket.errno, e: 
print "Socket error: $s" %str (e) 





except Exception, e: 
print "Other exception: $s" $str(e) 
finally: 
print "Closing connection to the server" 
Sock.close() 








if name == ' main ': 
parser - argparse.ArgumentParser(description-'Socket Server Example') 
parser.add argument('--port', action-"store", dest-"port", type-int, 


required-True) 
given args - parser.parse args() 
port - given args.port 
echo client (port) 
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1.14.2 ”原理 分 析 
为 了 查看 客户 端 和 服务 器 之 间 的 交互 ， 要 在 一 个 终端 里 启动 如 下 服务 器 脚本 : 





$ python 1 13a echo server.py --port-9900 
Starting up echo server on localhost port 9900 


Waiting to receive message from client 
然后 ， 在 男 一 个 终端 里 运行 客户 端 ， 如 下 所 示 : 


$ python 1 13b echo client.py --port-9900 
Connecting to localhost port 9900 

Sending Test message. This will be echoed 
Received: Test message. Th 

Received: is will be echoe 

Received: d 

Closing connection to the server 


ERIAREN, HAS dM ti EA PHAR: 





Data: Test message. This will be echoed 
sent Test message. This will be echoed bytes back to ('127.0.0.1', 42961) 
Waiting to receive message from client 
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使 用 多 路 复 用 套 接 字 I/O 
提升 性 能 








本 章 攻略 : 


OQ 在 套 接 字 服务 器 程序 中 使 用 ForkingMixIn 
OQ 在 套 接 字 服 务 器 程序 中 使 用 ThreadingMixIn 
O 使 用 select . select 编写 一 个 聊天 室 服务 器 
a 使 用 select .epol11 多 路 复 用 Web 服 务 器 

口 使 用 并 发 库 Diesel 多 路 复 用 回 显 服务 器 











2.1 简介 


本 章 专注 于 使 用 一 些 有 用 的 技术 提升 套 接 字 服 务 器 的 性 能 。 和 前 一 章 不 同 , 本 章 考 虑 多 个 客 
户 端 连接 服务 器 的 情况 , 而 且 可 以 异步 通信 。 服 务 器 不 需要 在 阻塞 模式 中 处 理 客户 端 发 出 的 请 求 ， 
而 是 单独 处 理 每 个 请 求 。 如 果 某 个 客户 端 接收 或 处 理 数据 时 花 了 很 长 时 间 , 服务 器 无 需 等 待 处 理 
完成 ， 可 以 使 用 另外 的 线程 或 进程 和 其 他 客户 端 通信 。 


本 章 还 要 介绍 select 模 块 。 这 个 模块 建立 在 底层 操作 系统 内 核 的 select 系 统 调用 基础 之 
上 ， 提 供 了 平台 专用 的 IO 监控 功能 。Linux 用 户 可 访问 http:/man7.org/linux/man-pages/man2/ 
select.2.html 查 看 手册 ， 手 册 中 介绍 了 select 系 统 调 用 的 可 用 功能 。 我 们 的 套 接 字 服 务 器 要 和 多 
个 客户 端 交 互 ， 所 以 select 可 以 帮助 我 们 监控 非 阻塞 式 套 接 字 。 有 些 第 三 方 Python 库 也 能 帮助 
我 们 同时 处 理 多 个 客户 端 ， 本 章 包含 一 个 使 用 Diesel 并 发 库 的 示例 攻略 。 


为 简单 起 见 , 我 们 只 会 使 用 少数 几 个 客户 端 , 但 读者 可 以 自行 扩展 本 章 的 攻略 ,让 它们 处 理 
几 十 甚至 几 百 个 客户 端 。 
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222 ”在 套 接 字 服务 器 程序 中 使 用 ForkingMixIn 


你 已 经 决定 要 编写 一 个 异步 Python 套 接 字 服务 器 程序 。 服 务 器 处 理 客 户 端 发 出 的 请 求 时 不 能 
阻塞 ， 因 此 要 找到 一 种 机 制 来 单独 处 理 每 个 客户 端 。 



































Python 2.7 版 中 的 SocketServer 模 块 提 供 了 两 个 实用 类 .; ForkingMixIn 和 ThreadingMixIn。 
ForkingMixIn 会 为 每 个 客户 端 请 求 派生 一 个 新 进程 。 本 节 介 绍 ForkingMixIn 类 , Threading 
MixIn 类 将 在 下 一 节 中 介绍 。 有 关 socketServer 模 块 的 详情 ， 请 参阅 Python 文 档 : http://docs. 
python.org/2/library/socketserver.html ; 











2.2.1 实战 演练 


我 们 要 利用 socketservez 模 块 提供 的 类 ， 重 写 第 1 章 中 的 回 显 服务 器 。socketservezr 模 
块 提 供 了 可 以 直接 使 用 的 TCP 、UDP 及 其 他 协议 服务 器 。 我 们 可 以 创建 ForkingSservezr 类 ， 继 
JKTCPServerjfllForkingMixIn2É, 前 一 个 父 类 让 Forkingserver 类 实现 了 之 前 手动 完成 的 所 
有 服务 器 操作 ， 例 如 创建 套 接 字 、 绑 定 地 址 和 监听 进入 的 连接 。 我 们 的 服务 器 还 要 继承 
ForkingMixIn 类 ， 异 步 处 理 客户 端 。 


ForkingServer 类 还 要 创建 一 个 请 求 处 理 程序 , 说明 如 何 处 理 客户 端 请 求 。 在 这 个 攻略 中 ， 
我 们 的 服务 器 会 回 显 客户 端 发 送 的 文本 字符 串 。 请 求 处 理 类 ForkingserverRequestHandler 
继承 自 SocketServer 库 提供 的 BaseRequestHandler 类 。 


回 显 服务 需 的 客户 端 Forkingclient 可 以 使 用 面向 对 象 的 方式 编写 。 在 Python 中 ， 类 的 构 
造 方 法 叫 作 init _()。 按 照 惯例 ， 要 把 self 作 为 参数 传人 init _() 方 法 ， 以 便 指定 具体 
实例 的 属性 。Forkingclient 连 接 的 回 显 服务 絮 要 在 init__() 方 法 中 初始 化 , 然后 在 run () 
方法 中 辣 服 务 器 发 送 消息 。 


如 果 你 根本 不 知道 “面向 对 象 编程 ”( Object-oriented Programming， 简 称 OOP ), 学 习 这 个 攻 
略 之 前 最 好 熟悉 一 下 OOP 的 基本 概念 。 


若 想 测试 Forkingservetr 类 ， 可 以 启动 多 个 回 显 客户 端 ， 看 看 服务 融 如 何 响应 客户 端 。 
代码 清单 2-1 展 示 了 如 何在 套 接 字 服 务 器 程序 中 使 用 ForkingMixIn 类 ， 如 下 所 示 : 


d$!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 2 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 
# See more: http://docs.python.org/2/library/socketserver.html 























import os 
import socket 
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import threading 
import SocketServer 


SERVER HOST = 'localhost' 

SERVER PORT = 0 4 tells the kernel to pick up a port dynamically 
BUF SIZE = 1024 

ECHO MSG - 'Hello echo server!' 




















class ForkingClient(): 
""" A client to test forking server""" 
def | init (self, ip, port): 
# Create a socket 
self.sock - socket.socket(socket.AF INET, socket.SOCK STR 
* Connect to the server 
self.sock.connect((ip, port)) 








E 


def run(self): 
""" Client playing with the server""" 
# Send the data to server 
current process id - os.getpid() 








print 'PID $s Sending echo message to the server : "$s"' $ (current process id, 
ECHO. MSG) 

sent data length - self.sock.send(ECHO MSG) 

print "Sent: %d characters, so far..." $sent data length 


# Display server response 
response - self.sock.recv(BUF SIZE) 
print "PID $s received: $s" $ (current process id, response[5:]) 





def shutdown(self): 
""" Cleanup the client socket """ 
self.sock.close() 


class ForkingServerRequestHandler (SocketServer.BaseRequestHandler): 
def handle(self): 
# Send the echo back to the client 
data = self.request.recv(BUF SIZE) 
current process id - os.getpid() 


response = '$s: $s' $ (current process id, data) 





print "Server sending response [current process id: data] = [$s]" $response 


self.request.send(response) 
return 


class ForkingServer(SocketServer.ForkingMixIn, 
SocketServer.TCPServer, 
): 
"""Nothing to add here, inherited everything necessary from parents""" 
pass 


def main(): 
* Launch the server 


server - ForkingServer((SERVER HOST, SERVER PORT), ForkingServerRequestHandler) 











ip, port = server.server address 4 Retrieve the port number 
server thread - threading.Thread(target-server.serve forever) 


图 灵 社区 会 员 木头 |bj(flt0426@163.com) 专 享 尊重 版 权 


2.3 ”在 套 接 字 服务 器 程序 中 使 用 ThreadingMixIn 25 





server thread.setDaemon(True) # don't hang on exit 
server thread.start() 
print 'Server loop running PID: $s' £os.getpid() 


# Launch the client(s) 
clienti =  ForkingClient(ip, port) 
clienti1.run() 





client2 =  ForkingClient(ip, port) 
client2.run() 


# Clean them up 
server.shutdown() 
clientl.shutdown() 
client2.shutdown() 
server.socket.close() 


LE name sz * malin "i 
main() 





2.2.2 原理 分 析 


主线 程 中 创建 了 一 个 Forkingserver 实 例 ， 作 为 守护 进程 在 后 台 运 行 。 然 后 再 创建 两 个 客 
Pts RU AS de Ac UL 


运行 这 个 脚本 后 ， 会 看 到 如 下 输出 : 


$ python 2 1 forking mixin socket server.py 

Server loop running PID: 12608 

PID 12608 Sending echo message to the server : "Hello echo server!" 

Sent: 18 characters, so far... 

Server sending response [current process id: data] - [12610: Hello echo server!] 
PID 12608 received: : Hello echo server! 

PID 12608 Sending echo message to the server : "Hello echo server!" 

Sent: 18 characters, so far... 

Server sending response [current process id: data] - [12611: Hello echo server!] 
PID 12608 received: : Hello echo server! 


在 你 的 设备 中 可 能 会 使 用 不 同 的 服务 器 端口 号 ， 因 为 端口 号 由 操作 系统 内 核 动态 选择 。 














2.3 ”在 套 接 字 服务 器 程序 中 使 用 ThreadingMixIn 


或 许 基于 某 些 原因 你 不 想 编 写 基于 进程 的 应 用 程序 ,而 更 愿意 编写 多 线程 应 用 程序 。 可 能 的 
原因 有 : 在 线程 之 间 共 享 应 用 的 状态 ， 避 免 进 程 间 通信 的 复杂 操作 ， 等 等 。 遇 到 这 种 需求 ， 如 果 
想 使 用 socketserver 库 编写 异步 网 络 服务 器 ， 就 得 使 用 ThreadingMixIn 类 。 
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2.3.1 准备 工作 





对 前 一 个 攻略 做 几 处 小 改动 就 能 使 用 ThreadingMixIn 编 写 一 个 可 用 的 套 接 字 服务 器 。 


下 载 示 例 代码 


M 如 果 你 是 通过 http://www.packtpub.com 的 注册 账户 购买 的 图 书 ， 
户 中 下 载 相应 Packt 图 书 的 示例 代码 。 如 果 你 是 从 其 他 地 方 购买 的 本 
问 http:/www.packtpub.comy/support， 注 册 账 户 后 ， 我 们 将 会 为 你 发 送 
例 代码 文件 的 电子 邮件 。 


2.3.2 ”实战 演练 





可 以 从 该 账 
书 ， 可 以 访 
—H WAR 


和 前 一 节 中 基于 ForkingMixIn 的 套 接 字 服务 需 一 样 , 使 用 ThreadingMixIn 编 写 的 套 接 字 
服务 器 要 遵循 相同 的 回 显 服务 器 编程 模式 ， 不 过 仍 有 几 点 不 同 。 首 先 ，ThreadedTcPServez 继 


























承 自 TCPServer 和 TheadingMixIn。 客 户 端 连 接 这 个 多 线程 版 服务 器 时 ， 会 创 寻 
详情 参见 http://docs.python.org/2/library/socketserver.html。 




















一 个 新 线程 。 


套 接 字 服务 器 的 请 求 处 理 类 ForkingServerRequestHandler 在 一 个 新 线程 中 把 消息 回 显 
给 客户 端 。 在 这 个 类 中 可 以 获取 线程 的 信息 。 简 单 起 见 ， 我 们 把 客户 端的 代码 放 在 一 个 函数 中 ， 





而 不 是 一 个 类 中 。 客 户 端 代 码 创建 客户 端 套 接 字 ， 然 后 向 服务 器 发 送 消 息 。 

















代码 清单 2-2 展 示 了 如 何在 回 显 套 接 字 服务 器 中 使 用 rhreadqingMixIn 类 ， 如 下 所 示 : 


d!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 2 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import os 

import socket 
import threading 
import SocketServer 


SERVER HOST 'localhost' 
SERVER PORT 0 # tells the kernel to pickup a port dynamically 
BUF SIZE - 1024 

















def client(ip, port, message): 
" A client to test threading mixin server""" 
# Connect to the server 
Sock - socket.socket(socket.AF INET, socket.SOCK STREAM) 
Ssock.connect((ip, port)) 
try: 
Sock.sendall (message) 
response - sock.recv(BUF SIZE 
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print "Client received: $s" $response 
finally: 
Sock.close() 


class ThreadedTCPRequestHandler (SocketServer.BaseRequestHandler): 
""" An example of threaded TCP request handler """ 
def handle(self): 
data - self.request.recv(1024) 
current thread - threading.current thread() 
response - "$s: $s" $(current thread.name, data) 
self.request.sendall(response) 





class ThreadedTCPServer(SocketServer.ThreadingMixIn, SocketServer.TCPServer): 
"""Nothing to add here, inherited everything necessary from parents""" 
pass 


AXE name mmc o mad "3 





# Run server 

server - ThreadedTCPServer((SERVER HOST, SERVER PORT), 
ThreadedTCPRequestHandler) 

ip, port = server.server address # retrieve ip address 




















# Start a thread with the server -- one thread per request 
server thread - threading.Thread(target-server.serve forever) 
# Exit the server thread when the main thread exits 

server thread.daemon - True 

server thread.start() 

print "Server loop running on thread: $s"  $server thread.name 








# Run clients 

client(ip, port, "Hello from client 1") 
client(ip, port, "Hello from client 2") 
client(ip, port, "Hello from client 3") 


# Server cleanup 
server.shutdown() 


2.3.8 ”原理 分 析 


个 攻略 首先 创建 一 个 服务 器 线程 ， 并 在 后 台 启 动 。 然 后 启动 三 个 测试 客户 端 ， 向 服务 顺 发 
T 作为 响应 ， 服 务 器 把 消息 回 显 给 客户 端 。 在 服务 器 请 求 处 理 类 的 hanale () 方 法 中 , R 
们 取 回 了 当前 线程 的 信息 并 将 其 打印 出 来 ， 这 些 信 息 在 每 次 客户 端 连接 中 都 不 同 。 


在 客户 端 和 服务 器 的 通信 中 用 到 了 sendall () 方 法 ， 以 保证 发 送 的 数据 无 任何 丢失 。 


$ python 2 2 threading mixin socket server.py 
Server loop running on thread: Thread-1 

Client received: Thread-2: Hello from client 1 
Client received: Thread-3: Hello from client 2 
Client received: Thread-4: Hello from client 3 
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2.4 使 用 select.select 编写 一 个 聊天 室 服务 器 


在 大 型 网 络 服务 器 应 用 程序 中 可 能 有 几 百 或 几 千 个 客户 端 同时 连接 服务 器 , 此 时 为 每 个 客户 
端 创建 单独 的 线程 或 进程 可 能 不 切实 际 。 由 于 内 存 可 用 量 受 限 , 且 主机 的 CPU 能 力 有 限 ， 我 们 需 
要 一 种 更 好 的 技术 来 处 理 大 量 的 客户 端 。 幸 好 ，Python 提 供 的 select 模 块 能 解决 这 一 问题 。 








2.4.1 实战 演练 


我 们 将 编写 一 个 高 效 的 聊天 室 服务 器 ， 处 理 几 百 或 更 多 数量 的 客户 端 连 接 。 我 们 要 使 用 
select 模 块 提供 的 select () 方 法 , 让 聊天 室 服务 顺和 客户 端 所 做 的 操作 始终 不 会 阻塞 消息 的 发 
送 和 接收 。 

这 个 攻略 使 用 一 个 脚本 就 能 启动 客户 端 和 服务 器 ， 执 行 脚本 时 要 指定 --name 人 参数 。 只 有 在 
命令 行 中 传人 了 --name=server, 脚本 才 启 动 聊 天 室 服务 器 。 如 果 为 --name 人 参数 指定 了 其 他 值 ， 
例如 client1 或 client2,， 则 脚本 会 启动 聊天 室 客 户 端 。 聊 天 室 服务 器 绑 定 的 端口 在 命令 行 参 数 
--port 中 指定 。 对 大 型 应 用 程序 而 言 ， 最 好 在 不 同 的 模块 中 编写 服务 器 和 客户 端 。 


代码 清单 2-3 展 示 了 一 个 使 用 select . select 编写 的 聊天 室 应 用 示例 ， 如 下 所 示 : 





























#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 2 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import select 
import socket 
import sys 
import signal 
import cPickle 
import struct 
import argparse 


SERVER HOST = 'localhost' 


CHAT SERVER NAME - 'server' 























4 Some utilities 

def send(channel, *args): 
buffer = cPickle.dumps (args) 
value = socket.htonl(len(buffer)) 
Size - struct.pack("L",value) 
channel.send(size) 
channel.send (buffer) 


def receive(channel): 
size - struct.calcsize("L") 
size - channel.recv(size) 
try: 
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size = socket.ntohl(struct.unpack("L", size)[0]) 
except struct.error, e: 

return '' 
put s fi 
while len(buf) « size: 

buf = channel.recv(size - len(buf)) 





return cPickle.loads (buf) [0] E 
send () 函数 接收 一 个 具名 参数 channelI 和 一 个 定位 参数 *args ， 使 用 cPickle 模 块 中 的 
dumps () 方 法 序列 化 数据 ， 使 用 struct 模 块 计 算数 据 的 大 小 。 同 样 ，receive () 函数 也 接收 一 
个 具名 参数 channel P 


然后 定义 chatserver 类 ， 如 下 所 示 : 


class ChatServer (object): 

""" An example chat server using select """ 

def | init (self, port, backlog-5): 
self.clients - 0 
self.clientmap - () 
self.outputs = [] # list output sockets 
Self.server - socket.socket(socket.AF INET, socket.SOCK STREAM) 
self.server.setsockopt(socket.SOL SOCKET, socket.SO REUSEADDR, 1) 
self.server.bind((SERVER HOST, port)) 
print 'Server listening to port: $s ...' $port 
self.server.listen(backlog) 
# Catch keyboard interrupts 
signal.signal(signal.SIGINT, self.sighandler) 





























def sighandler(self, signum, frame): 
""" Clean up client outputs""" 
# Close the server 
print 'Shutting down server...' 
# Close existing client sockets 
for output in self.outputs: 

output.close() 

self.server.close() 


def get client name(self, client): 
""" Return the name of the client """ 
info - self.clientmap[client] 
host, name = info[0][0], info[1] 
return 'Q'.join((name, host)) 


ChatServer 类 的 主要 执行 方法 如 下 所 示 : 


def run(self): 
inputs = [self.server, sys.stdin] 
self.outputs - [] 
running - True 
while running: 
try: 
readable, writeable, exceptional - select.select(inputs, self.outputs, []) 
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except select.error, e: 
break 


for sock in readable: 
if sock -- self.server: 
* handle the server socket 
client, address - self.server.accept() 
print "Chat server: got connection %d from $s" % (client.fileno(), 
address) 
# Read the login name 
cname - receive(client).split('NAME: ')[1] 





# Compute client name and send back 
self.clients += 1 





send(client, 'CLIENT: ' + str(address[0])) 

inputs.append(client) 

self.clientmap[client] = (address, cname) 

# Send joining information to other clients 

msg = "Wn(Connected: New client ($d) from $s)" $ (self.clients, 
self.get client name(client)) 

for output in self.outputs: 


send(output, msg) 
self.outputs.append(client) 


elif sock -- sys.stdin: 
# handle standard input 
junk = sys.stdin.readline() 
running - False 


else: 
* handle all other sockets 
try: 
data - receive(sock) 
if data: 
# Send as new client's message... 
msg = '\n#[' + self.get client name(sock) + ']»»' + data 


# Send data to all except ourself 
for output in self.outputs: 
if output !- sock: 
send(output, msg) 
else: 

print "Chat server: $d hung up" $ sock.fileno() 
self.clients -- 1 
Sock.close() 
inputs .remove (sock) 
self .outputs .remove (sock) 


# Sending client leaving information to others 
msg = "\n(Now hung up: Client from %s)" % self.get_client_ 
name (sock) 
for output in self.outputs: 
send (output, msg) 
except socket.error, e: 
# Remove 
inputs .remove (sock) 
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self.outputs.remove(sock) 
self.server.close() 


初始 化 聊天 室 服 务 器 时 创建 了 一 些 属性 : 客户 端 数量 、 客 户 端 映射 和 输出 的 套 接 字 。 和 之 前 
创建 服务 器 套 接 字 一 样 , 初始 化 时 也 设 定 了 重用 地 址 的 选项 , 这 么 做 可 以 使 用 同一 个 端口 重启 服 
务 器 。 聊 天 室 服务 器 类 的 构造 方法 还 有 一 个 可 选 参数 backlog, 用 于 设 定 服务 器 监听 的 连接 队列 
的 最 大 数量 。 


这 个 聊天 室 服 务 器 有 个 值得 介绍 的 地 方 ， 它 可 以 使 用 signal 模 块 捕获 用 户 的 中 断 操作 。 中 
断 操 作 一 般 通 过 键盘 输入 。chatserver 类 为 中 断 信 号 (SIGINT ) 注册 了 一 个 信号 处 理 方法 
sighandler。 信 号 处 理 方法 捕获 从 键盘 输入 的 中 断 信号 后 ， 关 闭 所 有 输出 套 接 字 ， 其 中 一 些 套 
接 字 可 能 还 有 数据 等 待 发 送 。 


聊天 室 服务 器 的 主要 执行 方法 是 run () ， 在 while 循 环 中 执行 操作 。run () 方 法 注册 了 一 个 
select 接 口 ， 输 入 参数 是 聊天 室 服务 器 套 接 字 stdain， 输 出 参数 由 服务 器 的 输出 套 接 字 列 表 指 
定 。 调 用 select.select () 方 法 后 得 到 三 个 列表 : 可 读 套 接 字 、 可 写 套 接 字 和 异常 套 接 字 。 聊 
天 室 服 务 器 只 关心 可 读 套 接 字 ， 其 中 保存 了 准备 被 读 取 的 数据 。 如 果 可 读 套 接 字 是 服务 器 本 身 ， 
表示 有 一 个 新 客户 端 连 到 服务 器 上 了 ,服务 融会 读 取 客 户 端的 名 字 , 将 其 广播 给 其 他 客户 端 。 如 
果 输 入 参数 中 有 内 容 ， 聊 天 室 服务 器 会 退出 。 类 似 地 ,这 个 聊天 室 服务 器 也 能 处 理 其 他 客户 端 套 
接 字 的 输入 ， 转 播客 户 端 直接 传送 的 数据 ， 还 能 共享 客户 端 进入 和 离开 聊天 室 的 信息 。 


聊天 室 客户 端 应 该 包含 以 下 代码 : 


class ChatClient(object): 
" A command line chat client using select """ 
































def | init (self, name, port, host-SERVER HOST): 
Self.name = name 
Self.connected = False 
self.host - host 
self.port - port 
# Initial prompt 











self.prompt-'[' + 'G'.join((name, socket.gethostname().split('.')[0])) + ']» ' 
# Connect to server at port 
try: 








self.sock = socket.socket(socket.AF INET, socket.SOCK STREAM) 

self.sock.connect((host, self.port)) 

print "Now connected to chat server@ port $d" $ self.port 

Sself.connected = True 

# Send my name... 

send(self.sock, ' NAME: ' + self.name) 

data - receive(self.sock) 

# Contains client address, set it 

addr = data.split('CLIENT: ')[1] 

self.prompt = '[' + 'Q'.join((self.name, addr)) + ']» ' 
except socket.error, e: 

print "Failed to connect to chat server @ port $d" $ self.port 
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sys.exit(1) 


def run(self): 
""" Chat client main loop """ 
while self.connected: 
Ery: 
sys.stdout.write(self.prompt) 
sys.stdout.flush() 
# Wait for input from stdin and socket 
readable, writeable,exceptional = select.select([0, self.sock], [],[1) 
for sock in readable: 
if Bock ss 
data = sys.stdin.readline().strip() 
if data: send(self.sock, data) 
elif sock -- self.sock: 
data - receive(self.sock) 
if not data: 
print 'Client shutting down. ' 
self.connected = False 
break 
else: 
sys.stdout.write(data + 'WMn') 
sys.stdout.flush() 


except KeyboardInterrupt: 
print " Client interrupted. """ 
self.sock.close() 
break 


初始 化 聊天 室 客 户 端 时 指定 了 name 参 数 ， 连 接 到 聊天 室 服务 器 之 后 ， 这 个 名 字 会 发 送 给 服 
务 需 。 初 始 化 时 还 设置 了 一 个 自 定 义 的 提示 符 [nameehost]>。 客 户 端的 执行 方法 *un O 在 连接 
到 服务 器 的 过 程 中 一 直 运行 着 。 和 聊天 室 服务 器 类 似 , 聊天 室 客 户 端 也 使 用 select () 方 法 注册 。 
只 要 可 读 套 接 字 做 好 了 准备 ， 客 户 端 就 开始 接收 数据 。 如 果 sock 的 值 为 0， 
客户 端 就 可 以 发 送 数据 。 发 送 的 数据 还 会 显示 在 staout 或 者 本 例 中 的 命令 行 终端 里 。 主 方法 应 
该 接收 命令 行 参数 ， 调 用 服务 器 或 者 客户 端 ， 如 下 所 示 : 























if name se * qain "s 
parser = argparse.ArgumentParser (description-'Socket Server Example with Select') 
parser.add argument('--name', action-"store", dest-"name", required-True) 
parser.add argument('--port', action-"store", dest-"port", type-int, required-True) 


given args - parser.parse args() 
port - given args.port 
name - given args.name 
if name -- CHAT SERVER NAME: 
server - ChatServer (port) 
server.run() 
else: 
client = ChatClient(name-name, port-port) 
client.run() 


这 个 脚本 要 运行 三 次 : 一 次 用 于 局 动 聊天 室 服务 器 ， 两 次 用 于 启动 两 个 聊天 室 客户 端 。 启 动 
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服务 器 时 ， 在 命令 行 中 传人 参数 --name=server 和 --port=8800。 启 动 client1 时 ， 把 名 字 参 
数 改 成 --name=clLient1; 局 动 client2 时 改 为 --name=client2。 然后 在 client1 中 发 送 消息 
"Hello from client 1", 这 个 消息 会 显示 在 client2 的 终端 里 。 同样 ， 在 client2 中 发 送 消 


息 "hello from client 2"， 也 会 在 client1 的 终端 里 显示 。 


服务 铝 的 输出 如 下 : 








$ python 2 3 chat server with select.py --name-server --port-8800 
Server listening to port: 8800 


Chat server: got connection 4 from ('127.0.0.1', 56565) 
Chat server: got connection 5 from ('127.0.0.1', 56566) 


client1 的 输出 如 下 : 


$ python 2 3 chat server with select.py --name=client1 --port=8800 
Now connected to chat server? port 8800 

[client10127.0.0.1]» 

(Connected: 





New client (2) from client20127.0.0.1) 
[client10127.0.0.1]» Hello from client 1 
[client10127.0.0.1]» 


É[client20127.0.0.1]»»hello from client 2 


client2 的 输出 如 下 : 


$ python 2 3 chat server with select.py --name=client2 --port=8800 
Now connected to chat server? port 8800 

[client20127.0.0.1]» 

&[clienti10127.0.0.1]»»Hello from client 1 

[client20127.0.0.1]» hello from client 2 

[c1ient20127.0.0.1] 


整个 交互 过 程 如 下 面 的 截图 所 示 : 





por t=8800 


2.3 chat server with select.py --namescltentiff 
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2.4.2 ”原理 分 析 


在 这 个 模块 的 顶端 定义 了 两 个 实用 消 数 : send( 和 receive()。 


在 聊天 室 服务 器 和 客户 端 中 用 到 了 这 两 个 函数 ,如 前 面 的 代码 所 示 。 聊 天 室 服务 器 和 客户 端 





中 定义 的 方法 前 面 也 介绍 过 了 。 


2.5 使 用 select .epoll 多 路 复 用 Web 服务 器 


Python 的 select 模 块 中 有 很 多 针对 特定 平台 的 网 络 事件 管理 函数 。 在 Linux 设 备 中 可 以 使 用 
epol1。 这 个 函数 利用 操作 系统 内 核 轮 询 网 络 事件 ， 让 脚本 知道 有 事件 发 生 了 。 这 听 起 来 比 前 面 








介绍 的 select.select 方 案 更 高 效 。 


2.5.1 ”实战 演练 


我 们 来 编写 一 个 简单 的 Web 服 务 器 ， 向 每 一 个 连接 服务 器 的 网 页 浏览 需 返 回 一 行文 本 。 


这 个 脚本 的 核心 在 Web 服 务 絮 的 初始 化 过 程 中 ,我 们 要 调用 方法 select .epol1 () ,注册 服 
务 器 的 文件 描述 符 ， 以 达到 事件 通知 的 目的 。 在 Web 服 务 器 执行 的 代码 中 ， 套 接 字 事件 由 下 述 代 























码 监 控 。 

M EH = Hr Xlll ić = 
代码 清单 2-4 展 示 了 如 何 使 用 select .epol1 实 现 简单 的 Web 服 务 器 ， 如 下 所 示 : 
d!/usr/bin/env python 
# Python Network Programming Cookbook -- Chapter - 2 
# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 

import socket 

import select 

import argparse 

SERVER HOST = 'localhost' 

EOL1 = b'\n\n' 

EOL2 = b'\n\r\n' 

SERVER RESPONSE = b"""HTTP/1.1 200 OK\r\nDate: Mon, 1 Apr 2013 01:01:01 


GMT\r\nContent-Type: text/plain Nr WManContent-Length: 25\r\n\r\n 
Hello from Epoll Server!""" 








class EpollServer(object): 
""" A socket server using Epoll"'"" 








def | init (self, host-SERVER HOST, port-0): 











self.sock - socket.socket(socket.AF INET, socket.SOCK STREAM) 





self.sock.setsockopt(socket.SOL SOCKET, socket.SO REUS 














EADDR, 1) 
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self.sock.bind((host, port)) 

self.sock.listen(1) 

self.sock.setblocking(0) 
self.sock.setsockopt(socket.IPPROTO TCP, socket.TCP NODELAY, 1) 
print "Started Epoll Server" 

self.epoll = select.epoll() 
self.epoll.register(self.sock.fileno(), select.EPOLLIN) 











def run(self): 
"""Executes epoll server operation""" 
try: 
connections = (); requests = (); responses = () 
while True: 
events = self.epoll.pol1(1) 
for fileno, event in events: 
if fileno -- self.sock.fileno(): 
connection, address - self.sock.accept() 
connection.setblocking(0) 


























self.epoll.register(connection.fileno(), select.EPOLLIN) 
connections[connection.fileno()] = connection 
requests[connection.fileno()] = b'' 
responses[connection.fileno()] = SERVER RESPONSE 

elif event & select.EPOLLIN: 








requests[fileno] += connections[fileno].recv(1024) 
if EOL1 in requests[fileno] or EOL2 in requests[fileno]: 
self.epoll.modify(fileno, select.EPOLLOUT) 
print('-'*40 + '\n' + requests[fileno].decode()[:-2]) 
elif event & select.EPOLLOUT: 
byteswritten - connections[fileno].send(responses[fileno]) 
responses[fileno] = responses[fileno][byteswritten:] 
if len(responses[fileno]) == O0: 
self.epoll.modify(fileno, 0) 
connections[fileno].shutdown(socket.SHUT RDWR) 
elif event & select.EPOLLHUP: 
self.epoll.unregister(fileno) 
connections[fileno].close() 
del connections[fileno] 

















finally: 
self.epoll.unregister(self.sock.fileno()) 
self.epoll.close() 
self.sock.close() 





if name se quain. s 
parser - argparse.ArgumentParser(description-'Socket Server Example with Epoll') 
parser.add argument('--port', action-"store", dest-"port", type-int, 





required-True) 
given args - parser.parse args() 
port = given args.port 
server - EpollServer(host-SERVER HOST, port-port) 
server.run() 














运行 这 个 脚本 ， 在 网 页 浏览 器 (例如 Firefox 或 I[E ) 中 输入 http://localhost:8800/ 访 问 服务 器 ， 
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在 终端 会 看 到 如 下 输出 : 


$ python 2 4 simple web server with epoll.py --port=8800 
Started Epoll Server 





GET / HTTP/1.1 

Host: localhost:8800 

Connection: keep-alive 

Accept: text/html,application/xhtml«xml,application/xm1;qz-20.9,*/*;qz0.8 
User-Agent: Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.31 (KHTML, like Gecko) 
Chrome/26.0.1410.43 Safari/537.31 

DNT: 1 

Accept-Encoding: gzip,deflate,sdch 

Accept-Language: en-GB,en-US;q-0.8,en;q-0.6 

Accept-Charset: ISO-8859-1,utf-8;qz-20.7,*;qz20.3 

Cookie: MoodleSession-69149dqnvhett7br3qebsrcmh1;MOODLEID1 =%257F%25BA%2B%2540V 


GET /favicon.ico HTTP/1.1 

Host: localhost:8800 

Connection: keep-alive 

Accept: */* 

DNT: 1 

User-Agent: Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.31 (KHTML, like Gecko) 
Chrome/26.0.1410.43 Safari/537.31 

Accept-Encoding: gzip,deflate,sdch 

Accept-Language: en-GB,en-US;q-0.8,en;q-20.6 

Accept-Charset: ISO-8859-1,utf-8;qz0.7,*;qz-0.3 


在 浏览 器 中 还 会 看 到 以 下 这 行文 本 : 
Hello from Epoll Server! 


这 一 过 程 的 截图 如 下 所 示 : 





File Edit View Search Terminal Help 
faruqgubuntu:chapter2$ python 2 4 simple web server with epoll.py --port-8800 
Started Epoll Server 


GET / HTTP/1.1 

Host: localhost:8800 

Connection: keep-alive 

User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.52 Safari/536.5 
Accept: text/html ,application/xhtml+xml ,application/xml;q=0.9,*/*;q=0.8 

Accept-Encoding: gzip,deflate, sdch 

Accept-Language: en-US,en;q=0.8 

Accept-Charset: IS0-8859-1,utf-8;q=0.7,*;q=0.3 


GET /favicon.ico HTTP/1.1 
Host: localhost:8800 


" 
User-Agent: Mozilla/5.0 (X11; Linux x86 64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.52 Safari/536.5 
Accept-Encoding: gzip,deflate,sdch 

Accept-Language: en-US,en;q-9.8 

Accept-Charset: ISO-8859-1,utf-8;q-0.7,*;q-0.3 


© localhost:8800 - Google Chrome 


localhost:8800 





€ localhost 


Hello from Epoll Server! 
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2.5.2 ”原理 分 析 


在 Web 服 务 器 Epollserver 的 构造 方法 中 创建 了 一 个 套 接 字 服 务 器 , 绑 定 到 本 地 主机 的 指定 
端口 上 。 服 务 器 的 套 接 字 被 设 定 为 非 阻塞 模式 ( setblocking (0) ), JE f TCP. NODELAY3É 
项 , 让 服务 器 无 需 缓 冲 便 可 直接 交换 数据 ( 比如 在 SSH 连 接 中 ) 然后 创建 了 一 个 select .epol11) 
实例 ， 再 把 套 接 字 的 文件 描述 符 传 给 这 个 实例 ， 以 便 监控 。 


在 这 个 Web 服 务 右 的 run () 方 法 中 开始 监听 套 接 字 事件 。 事 件 由 下 述 常量 表示 : 


口 EPOLLIN: 套 接 字 读 事件 
口 EPOLLOUT: 套 接 字 写 事件 


这 个 套 接 字 服务 器 把 响应 设 为 SERVER_RESPONSE。 如 果 连 接 套 接 字 服 务 器 的 客户 端 想 写 数 
H, 可 以 在 EPOLLOUT 事 件 中 完成 。 发 生 内 部 错误 时 ，EPOoLLHUP 事 件 会 把 一 个 异常 关闭 信和 号 发 给 
套 接 字 服务 器 。 












































2.6 ”使 用 并 发 库 Diesel 多 路 复 用 回 显 服务 器 


有 时 你 需要 编写 一 个 大 型 自 定义 网 络 应 用 程序 , 但 不 想 重复 输入 初始 化 服务 器 的 代码 ， 比 如 
说 创建 套 接 字 、 绑 定 地 址 、 监 听 以 及 处 理 基本 的 错误 等 。 有 很 多 Python 网 络 库 都 可 以 帮助 你 把 样 
板 代码 删除 。 这 里 我 们 要 使 用 一 个 提供 这 种 功能 的 库 ， 它 叫 作 Diesel。 





2.6.1 准备 工作 


Diesel 使 用 非 阻塞 和 协 程 技术 提升 编写 网 络 服务 器 的 效率 。Diesel 的 网 站 上 有 这 么 一 句 话 : 
“Diesel 的 核心 是 一 个 紧密 的 事件 轮 询 ， 使 用 spol11 提 供 几 近 平 稳 的 性 能 ， 即 便 有 10 000 个 或 更 多 
的 连接 也 无 妨 。” 这 一 节 我 们 通过 一 个 简单 的 回 显 服务 器 介绍 Diesel 的 用 法 。 你 需要 安装 Diesel 3.0 
或 者 更 新 的 版 本 ， 使 用 pip 命 令 即 可 完成 : $ pip install diesel >= 3.0. 

















2.6.2 ”实战 演练 


在 Python 的 Diesel 框 架 中 , 应 用 程序 使 用 Application() 类 的 实例 初始 化 ,事件 处 理 函 数 注 
册 在 这 个 实例 上 。 我 们 来 看 一 下 使 用 Diesel 编 写 回 显 服务 需 是 多 么 简单 。 


代码 清单 2-5 展 示 了 如 何 使 用 Diesel 编 写 回 显 服务 器 ， 如 下 所 示 : 





d$!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 2 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 
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# You alos need diesel library 3.0 or any later version 


import diesel 
import argparse 


class EchoServer (object): 
""" An echo server using diesel"'"" 





def handler (self, remote addr): 
"""Runs the echo server"'"" 
host, port - remote addr[0], remote addr[1] 
print "Echo client connected from: $s:$d" £(host, port) 





while True: 
try: 
message - diesel.until eol() 
your message = ': '.join(['You said', message]) 
diesel.send(your message) 
except Exception, e: 
print "Exception:",e 








def main(server port): 
app = diesel.Application() 











server - EchoServer() 
app.add service(diesel.Service(server.handler, server port)) 
app.run() 
Af name mmo o waim.: 
parser = argparse.ArgumentParser(description-'Echo server example with Diesel') 
parser.add argument('--port', action-"store", dest-"port", type-int, 


required-True) 
given args - parser.parse args() 
port - given args.port 
main(port) 


运行 这 个 脚本 后 ， 服 务 顺 会 显示 如 下 输出 : 





$ python 2 5 echo server with diesel.py --port-8800 
[2013/04/08 11:48:32] (diesel) WARNING:Starting diesel «hand-rolled select.epoll» 
Echo client connected from: 127.0.0.1:56603 


在 另 一 个 终端 窗口 中 可 以 使 用 Telnet 客 户 端 连 接 回 显 服务 器 ， 测 试 消息 回 显 ， 如 下 所 示 : 


$ telnet localhost 8800 
Trying 127.0.0.1... 

Connected to localhost. 

Escape character is '^]'. 
Hello Diesel server? 

You said: Hello Diesel server? 


下 面 这 个 截图 显示 了 和 Diesel 聊 天 室 服务 器 交互 的 过 程 : 
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) faruq@ubuntu: chapter2 


File Edit View Search Terminal Help 

faruq@ubuntu:chapter2$ 

faruq@ubuntu:chapter2$ python 2 5 echo server with diesel.py --port-8800 
[2014/02/22 10:13:23] {diesel} WARNING:Starting diesel <hand-rolled select.epoll> 
Echo client connected from: 127.0.0.1:52494 


File Edit View Search Terminal Help 
faruq@ubuntu:chapter2$ telnet localhost 8800 
rying 127.0.0.1... 

onnected to localhost. 

Escape character is '^]'. 

ello Diesel sever! 

ou said: Hello Diesel sever! 





2.6.3 ”原理 分 析 
这 个 脚本 从 命令 行 参数 --port 中 获取 端口 号 ， 将 其 传 给 main () 函数 。Diesel 应 用 程序 在 
main () 函数 中 初始 化 并 运行 。 


在 Diesel 中 有 “服务 ”的 概念 ， 应 用 程序 可 以 提供 多 种 服务 。Echoserver 类 中 定义 了 
handler () 方 法 ， 让 服务 器 能 够 处 理 单独 的 客户 端 连接 。 运 行 服务 时 要 把 handler () 方 法 和 端 
口号 作为 参数 传 给 service () 方 法 。 


handler () 方 法 决定 服务 器 的 行为 ， 在 这 个 脚本 中 ， 服 务 器 直接 返回 消息 文本 。 


如 果 把 这 个 脚本 和 第 1 章 中 的 “编写 一 个 简单 的 回 显 客户 端 /服务 器 应 用 ”攻略 〈 代码 清单 
1-13a) 对 比 ， 很 明显 能 看 出 ,我 们 不 需要 编写 样板 代码 ， 因 此 很 容易 把 精力 集中 在 高 层 应 用 由 
辑 上 。 
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IPv6、Unix 域 套 接 字 和 
网 络 接口 








本 章 攻 略 : 


口 把 本 地 端口 转发 到 远程 主机 
口 通过 ICMP 查 验 网 络 中 的 主机 
口 等 待 远程 网 络 服务 上 线 

a 枚 举 设备 中 的 接口 

O 找 出 设备 中 某 个 接口 的 IP 地 址 
口 探测 设备 中 的 接口 是 否 开 启 
口 检测 网 络 中 未 开启 的 设备 
口 使 用 相连 的 套 接 字 执行 基本 的 进程 间 通 信 
a 使 用 Unix 域 套 接 字 执行 进程 间 通 信 

口 确认 你 使 用 的 Python 是 否 支持 IPv6 套 接 字 
O 从 IPv6 地 址 中 提取 IPv6 前 组 

口 编写 一 个 IPv6 回 显 客户 端 /服务 器 
































简介 


本 章 使 用 一 些 第 三 方 库 扩 展 Python 中 socket 库 的 用 法 , 还 要 介绍 一 些 高 级 技术 , 例如 Python 








标准 库 中 的 ayncore 异 步 模块 。 与 此 同时 ， 还 会 涉及 很 多 不 同 的 协议 ,例如 ICMP 查 验 和 IPv6 客 
Pim I A5 d o 











本 章 通 过 一 些 示 例 攻 略 介绍 几 个 有 用 的 Python 第 三 方 模块 的 用 法 ， 例 如 Python 网 络 程序 员 熟 














知 的 网 络 数 据 包 抓 取 库 Scapy。 


本 章 部 分 攻略 专门 介绍 Python 中 IPv6 的 处 理 方法 ， 包 括 开 发 一 个 IPv6 客 户 端 /服务 器 应 用 程 


序 。 其 他 攻略 则 涉及 Unix 域 套 接 字 。 
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3.2 ”把 本 地 端口 转发 到 远程 主机 


有 时 , 你 需要 创建 一 个 本 地 端口 转发 器 , 把 本 地 端口 发 送 的 流量 全 部 重 定 向 到 特定 的 远程 主 
机 上 。 利 用 这 个 功能 ， 可 以 让 用 户 只 能 访问 特定 的 网 站 ， 而 不 能 访问 其 他 网 站 。 








3.2.1 实战 演练 


我 们 来 编写 一 个 本 地 端口 转发 脚本 ， 把 8800 端 口 接收 到 的 所 有 流量 重 定向 到 谷歌 的 首页 
( http://www.google.com ), 我 们 可 以 把 本 地 主机 和 远程 主机 连同 端口 号 一 起 传人 脚本 。 简单 起 见 ， 
这 里 只 指定 本 地 端口 号 ， 因 为 我 们 知道 Web 服 务 右 运行 在 80 端 口上 。 


代码 清单 3-1 是 一 个 端口 转发 示例 ， 如 下 所 示 : 

















!/usr/bin/env python 

Python Network Programming Cookbook -- Chapter - 3 

This program is optimized for Python 2.7. 

It may run on any other version with/without modifications. 


import argparse 
LOCAL SERVER HOST - 'localhost' 


REMOTE SERVER HOST - 'www.google.com' 
BUFSIZE - 4096 





























import asyncore 
import socket 


首先 ， 我 们 来 定义 PortForwarder 类 : 





class PortForwarder(asyncore.dispatcher): 
def | init (self, ip, port, remoteip,remoteport,backlog-5): 

asyncore.dispatcher. init (self) 
self.remoteip-remoteip 
self.remoteport-remoteport 
self.create socket(socket.AF INET,socket.SOCK STREAM) 
Self.set reuse addr() 
self.bind((ip,port)) 
self.listen(backlog) 








def handle accept(self): 
conn, addr = self.accept() 
print "Connected to:",addr 
Sender (Receiver(conn),self.remoteip,self.remoteport) 


然后 定义 Receiver 和 sender 类 ， 如 下 所 示 : 


class Receiver(asyncore.dispatcher): 
def | init  (self,conn): 
asyncore.dispatcher. init  (self,conn) 
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self.from remote buffer-'' 
self.to remote bufferz-z'' 
self.sender-None 


def handle connect(self): 
pass 


def handle read(self): 
read - self.recv(BUFSIZE) 
self.from remote buffer += read 





def writable(self): 
return (len(self.to remote buffer) > 0) 


def handle write(self): 
sent - self.send(self.to remote buffer) 
Self.to remote buffer = self.to remote buffer[sent:] 


def handle close(self): 
self.close() 
if self.sender: 
self.sender.close() 


class Sender(asyncore.dispatcher): 
def | init (self, receiver, remoteaddr,remoteport): 
asyncore.dispatcher. init (self) 
self.receiver-receiver 
receiver.sender-self 
self.create socket(socket.AF INET, socket.SOCK STREAM) 
self.connect((remoteaddr, remoteport)) 








def handle connect(self): 
pass 


def handle read(self): 
read = self.recv(BUFSIZE) 
self.receiver.to remote buffer += read 








def writable(self): 
return (len(self.receiver.from remote buffer) » 0) 


def handle write(self): 
sent - self.send(self.receiver.from remote buffer) 
self.receiver.from remote buffer - self.receiver.from remote buffer[sent:] 


def handle close(self): 
self.close() 
self.receiver.close() 














if name == "_ main ": 
parser = argparse.ArgumentParser(description-'Stackless Socket Server Example') 
parser.add argument('--local-host', action-"store", dest-"local host", 
default-LOCAL SERVER HOST) 
parser.add argument('--local-port', action-"store", dest-"local port", type-int, 
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required=True) 














parser.add argument('--remote-host', action-"store", dest-"remote host", 
default-REMOTE SERVER HOST) 

parser.add argument('--remote-port', action-"store", dest-"remote port", 
type-int, default-80) 





given args - parser.parse args() 
local host, remote host - given args.local host, given args.remote host 
local port, remote port - given args.local port, given args.remote port 


print "Starting port forwarding local $s:$s => remote $s:$s" % (local host, 
local port, remote host, remote port) 

PortForwarder(local host, local port, remote host, remote port) 

asyncore.loop() 


运行 这 个 脚本 后 ， 会 看 到 如 下 输出 : 





$ python 3 1 port forwarding.py --local-port=8800 
Starting port forwarding local localhost:8800 => remote www.google.com:80 


现在 打开 浏览 器 ， 访 问 http:/localhost:8800。 浏 览 器 会 把 你 带 到 谷歌 的 首页 ， 在 命令 行 中 会 
输出 类 似 下 面 的 信息 : 


Connected to: ('127.0.0.1', 38557) 


把 本 地 端口 转发 到 远程 主机 的 过 程 如 下 面 的 截图 所 示 : 


Applications Places Sy DD 


File Edit View Search Terminal Help 


faruq@ubuntu:chapter3$ python 3 1 port forwarding.py --local-port-8809 
Starting port forwarding local localhost:8800 => remote www.google.com:80 
Connected to: ('127.0.0.1', 52513) 

Connected to: ('127.0.0.1', 52514) 


File Edit View Search Terminal Help 
faruq@ubuntu:chapter2$ u 


Google - Google Chrome 





Google 


€ Â https://www.google.co.uk, 


*You 


Google 


3.22 ”原理 分 析 


我 们 创建 了 一 个 端口 转发 类 PortForwarder, 继承 自 asyncore.dispatcher。asyncore. 
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dispatcher 类 包装 了 一 个 套 接 字 对 象 ， 还 提供 了 一 些 帮 助 方法 用 于 处 理 特定 的 事件 ， 例 如 连接 
成 功 或 客户 端 连接 到 服务 需 套 接 字 。 你 可 以 选择 重 定义 这 些 方法 , 在 上 面 的 脚本 中 我 们 只 重 定义 
[handle accept () 方 法 。 





另外 两 个 类 也 继承 自 asyncore.dispatcher。Receiver 类 处 理 进 入 的 客户 端 请 求 ， 
Sender 类 接收 一 个 Receiver 类 实例 ， 把 数据 发 送 给 客户 端 。 如 你 所 见 ， 这 两 个 类 都 重 定义 了 
handle_read() 、handle_write() 和 writeable() 三 个 方法 ， 目 的 是 实现 远程 主机 和 本 地 客 
户 端 之 间 的 双向 通信 


概括 来 说 ， PortForwarder 类 在 一 个 本 地 套 接 字 中 保存 进入 的 客户 端 请 求 ， 然后 把 这 个 套 
接 字 传 给 Sender 类 实例 ， 青 使 用 Receiver 类 实例 发 起 与 远程 主机 指定 端口 之 间 的 双向 通信 。 




















3.8 ”通过 ICMP 查验 网 络 中 的 主机 


ICMP 查 验 (ICMP ping ) "是 你 见 过 的 最 普通 的 网 络 扫描 类 型 。ICMP 查 验 做 起 来 很 简单 ， 打 
开 命 令 行 或 终端 ， 输 入 ping www.google.com 即 可 。 这 在 Python 程序 中 又 有 什么 难 的 呢 ? 这 个 
攻略 展示 了 一 个 简单 的 Python 查验 脚本 。 


























3.3.1 准备 工作 
要 在 你 的 设备 上 运行 这 个 脚本 ， 需 要 有 超级 用 户 或 管理 员 权限 才 行 。 





3.3.2 ”实战 演练 
你 可 以 偷 个 懒 ， 在 Python 脚 本 中 调用 系统 中 的 ping 命 令 ， 如 下 所 示 : 


import subprocess 
import shlex 


command line = "ping -c 1 www.google.com" 
args - shlex.split(command line) 
try: 


subprocess.check call(args,stdout-subprocess.PIPE,N 

stderr-subprocess.PIPE) 

print "Google web server is up!" 

except subprocess.CalledProcessError: 
print "Failed to get ping." 


然而 ， 很 多 情况 下 ， 系统 中 的 ping 可 执行 文件 不 可 用 ， 或 者 无 法 访问 。 此 时 ， 我 们 需要 一 
个 纯粹 的 Python 脚本 实现 查验 。 注 意 ， 这 个 脚本 要 使 用 超级 用 户 或 者 管理 员 的 身份 运行 。 




















(D ICMP 是 Internet Control Message Protocol 的 简称 ， 意 思 是 “网 络 控制 报 文 协议 ”。 一 一 译 者 注 
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代码 清单 3-2 展 示 了 如 何 执行 ICMP 查 验 ， 如 下 所 示 : 


d!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 3 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 





import os 

import argparse 

import socket 

import struct 

import select 

import time 

ICMP ECHO REQUEST 8 4$ Platform specific 














DEFAULT TIMEOUT - 
DEFAULT COUNT - 4 


H 











class Pinger(object): 
""" Pings to a host -- the Pythonic way""" 


def | init (self, target host, count-DEFAULT COUNT, timeout-DEFAULT TIMEOUT): 
self.target host - target host 
self.count = count 
self.timeout = timeout 














def do checksum(self, source string): 

""" Verify the packet integritity """ 

sum - 0 

max count - (len(source string)/2)*2 

count = 0 

while count < max count: 
val = ord(source string[count + 1])*256 + ord(source string[count]) 
sum = sum + val 
sum - sum & Oxffffffff 
count = count + 2 


if max count«len(source string): 
sum = sum + ord(source string[len(source string) - 1]) 
sum - sum & Oxffffffff 


sum = (sum >> 16) + (sum & Oxffff) 

sum = sum + (sum >> 16) 

answer - -sum 

answer - answer & Oxffff 

answer = answer >> 8 | (answer << 8 & Oxff00) 
return answer 


def receive pong(self, sock, ID, timeout): 


Receive ping from the socket. 


time remaining - timeout 
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while True: 
start time - time.time() 


readable = select.select([sock], [], [], time remaining) 
time spent - (time.time() - start time) 
if readable[0] == []: # Timeout 

return 


time received - time.time() 

recv packet, addr - sock.recvfrom(1024) 

icmp header = recv. packet[20:28] 

type, code, checksum, packet ID, sequence = struct.unpack( 


) 


"DbHHh", icmp header 


if packet ID -- ID: 


bytes In double = struct.calcsize("d") 
time sent = struct.unpack("d", recv. packet[28:28 + bytes In double])[0] 
return time received - time sent 


time remaining - time remaining - time spent 
if time remaining <= 0: 


return 





我 们 要 定义 sena_ping() 方 法 ， 把 查验 请 求 的 数据 发 送 给 目标 主机 。 而 且 ， 在 这 个 方法 中 
还 要 调用 do_checksum() 方 法 ,检查 查验 数据 的 完整 性 ， 如 下 所 示 : 


def send ping(self, sock, ID): 


Send ping to the target host 


target addr 


my checksum 


= gsocket.gethostbyname(self.target host) 


= 0 


# Create a dummy heder with a 0 checksum. 
header = struct.pack("bbHHh", ICMP ECHO REQUEST, 0, my checksum, ID, 1) 
bytes In double - struct.calcsize("d") 


data - (192 














- bytes In double) * "Q" 


data = struct.pack("d", time.time()) + data 


# Get the checksum on the data and the dummy header. 


my checksum 


= self.do checksum(header + data) 


header = struct.pack( 


"bbHHh", 
) 


ICMP ECHO REQUEST, 0, socket.htons (my checksum), ID, 1 














packet = header + data 
Sock.sendto(packet, (target addr, 1)) 


我 们 再 来 定义 一 个 方法 ，ping_once() ， 只 向 目标 主机 发 送 一 次 查验 。 在 这 个 方法 中 ,把 
ICMP 协 议 传 给 socket () 方 法 ,创建 一 个 原始 的 ICMP 套 接 字 。 异 常 处 理 代码 负责 处 理 未 使 用 超 
级 用 户 运 行 脚本 的 情况 ， 以 及 其 他 套 接 字 错误 。 代 码 如 下 : 
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def ping once(self): 


Returns the delay (in seconds) or none on timeout. 
icmp = socket.getprotobyname("icmp") 
try: 





Sock - socket.socket(socket.AF INET, socket.SOCK RAW, icmp) 
except socket.error, (errno, msg): 
if errno -- 1: 
# Not superuser, so operation not permitted 


msg +=  "ICMP messages can only be sent from root user processes" 


raise socket.error (msg) 
except Exception, e: 
print "Exception: $s" %(e) 











my ID - os.getpid() & OxFFFF 


self.send ping(sock, my. ID) 

delay = self.receive pong(sock, my ID, self.timeout) 
Sock.close() 

return delay 








这 个 类 要 执行 的 主 方法 是 ping () 。 这 个 方法 中 有 个 for 循 环 , 在 for 循 环 中 调用 ping_once () 
方法 count 次 。 延 迟 时 间 从 查验 的 响应 中 获取 ,单位 为 秒 。 如 果 没 有 返回 延迟 时 间 ， 就 意味 着 查 


验 失败 。 代 码 如 下 : 


def ping(self): 


Run the ping process 


for i in xrange(self.count): 


print "Ping to $s..." $ self.target host, 
try: 
delay = Sself.ping once() 
except socket.gaierror, e: 
print "Ping failed. (socket error: '$s')" $ e[1] 
break 
if delay == None: 
print "Ping failed. (timeout within $ssec.)" $ self.timeout 
else: 
delay = delay * 1000 


print "Get pong in $0.4fms" % delay 





if name sz ' main .': 
parser = argparse.ArgumentParser (description-'Python ping') 
parser.add argument('--target-host', action-"store", dest-"target host", 


required-True) 
given args - parser.parse args() 
target host - given args.target host 
pinger - Pinger(target host-target host) 
pinger.ping() 
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以 超级 用 户 的 身份 运行 这 个 脚本 ， 得 到 的 输出 如 下 所 示 : 


$ sudo python 3 2 ping remote host.py --target-host-www.google.com 
Ping to www.google.com... Get pong in 7.6921ms 
Ping to www.google.com... Get pong in 7.1061ms 
Ping to www.google.com... Get pong in 8.9211ms 
Ping to www.google.com... Get pong in 7.9899ms 





3.89.3 ”原理 分 析 


Pinger 类 定义 了 很 多 有 用 的 方法 ,初始 化 时 创建 了 几 个 变量 ,其 值 由 用 户 指 定 ,或 者 有 默 
认 值 ， 如 下 所 示 : 


O target host: 要 查验 的 目标 主机 ; 
O count: 查验 次 数 ; 
O timeout: 这 个 值 决 定 何 时 终止 未 完成 的 查验 操作 。 


在 sendq_ping() 方 法 中 获取 了 目标 主机 的 DNS 主机 名 ， 然 后 使 用 struct 模 块 创 建 了 一 个 
ICMP_ECHO_REQUEST 数 据 包 。 在 这 个 方法 中 一 定 要 使 用 do_checksum() 方 法 检查 数据 的 完整 
性 。do_checksum() 方 法 接收 一 个 源 字 符 串 ,经 过 处 理 之 后 生成 一 个 特有 的 校 验 和 。 在 接收 端 ， 
receive pong () 方 法 在 未 到 达 超 时 时 间 之 前 一 直 等 待 响应 ,或 者 直接 接收 响应 ,然后 抓 取 ICMP 
响应 首部 ， 对 比 数据 包 ID ， 再 计算 请 求 -响应 循环 的 延迟 时 间 。 























3.4 等 待 远程 网 络 服务 上 线 
有 时 ， 在 网 络 服务 恢复 的 过 程 中 ， 可 以 运行 一 个 脚本 检查 服务 器 何 时 再 次 上 线 。 








3.4.1 ”实战 演练 


我 们 可 以 编写 一 个 客户 端 , 一 直 等 待 某 个 网 络 服务 上 线 ,或 者 只 等 待 一 段 时 间 。 在 这 个 示例 
中 , 默认 情况 下 我 们 检查 的 是 本 地 主机 中 的 一 个 Web 服 务 器 。 如果 你 指定 了 其 他 远程 主机 或 端口 ， 
这 个 脚本 会 使 用 你 提供 的 信息 。 


代码 清单 3-3 展 示 了 如 何等 待 远程 网 络 服务 上 线 ， 如 下 所 示 : 

















#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 3 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import argparse 
import socket 
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import errno 
from time import time as now 














DEFAULT TIMEOUT - 120 
DEFAULT SERVER HOST - 'localhost' 
DEFAULT SERVER PORT - 80 

















class NetServiceChecker (object): 
""" Wait for a network service to come online""" 
def | init (self, host, port, timeout-DEFAULT TIMEOUT): 
self.host = host 
self.port - port 
self.timeout - timeout 
Self.sock = socket.socket(socket.AF INET, socket.SOCK STR 

















E 





def end wait(self): 
self.sock.close() 


def check(self): 
""" Check the service """ 
if self.timeout: 
end time = now() + self.timeout 


while True: 
try: 
if self.timeout: 
next timeout - end time - now() 
if next timeout < O0: 
return False 
else: 
print "setting socket next timeout $ss" $round(next timeout) 
self.sock.settimeout(next timeout) 
self.sock.connect((self.host, self.port)) 
# handle exceptions 
except socket.timeout, err: 
if self.timeout: 
return False 
except socket.error, err: 
print "Exception: $s" %err 
else: # if all goes well 
self.end wait() 
return True 




















if name sso main ': 

parser - argparse.ArgumentParser(description-'Wait for Network Service') 

parser.add argument('--host', action-"store", dest-"host", 
default-DEFAULT SERVER HOST) 

parser.add argument('--port', action-"store", dest-"port", type-int, 
default-DEFAULT SERVER PORT) 

parser.add argument('--timeout', action-"store", dest-"timeout", type-int, 
default-DEFAULT TIMEOUT) 














given args - parser.parse args() 
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host, port, timeout = given args.host, given args.port, given args.timeout 
service checker - NetServiceChecker(host, port, timeout-timeout) 
print "Checking for network service %s:%s ..." £(host, port) 
if service checker.check(): 
print "Service is available again!" 


如 果 在 你 的 设备 上 运行 着 一 个 Web 服 务 咒 ， 例 如 Apache， 运 行 这 个 脚本 后 会 看 到 如 下 输出 : 








$ python 3 3 wait for remote service.py 
Waiting for network service localhost:80 ... 
setting socket next timeout 120.0s 

Service is available again! 





现在 停 目 Apache 进程， 再 运行 这 个 脚本 ,然后 重启 Apache。 此 时 看 到 的 输出 会 有 所 不 同 , 在 
我 的 设备 上 ， 输 出 如 下 : 


Exception: [Errno 103] Software caused connection abort 
setting socket next timeout 104.189137936 

Exception: [Errno 111] Connection refused 

setting socket next timeout 104.186291933 

Exception: [Errno 103] Software caused connection abort 
setting socket next timeout 104.186164856 

Service is available again! 


下 面 的 截图 展示 了 等 竺 Apache Web 服 务 器 上 线 的 过 程 : 


farua@ubuntu:chap 
e ing 


fully qualified domatn nane, using 12 
start 
s fully qualified donatn nane, using 127.0.0.1 for ServerName 


faruagubuntu: chap 





3.4.2 ”原理 分 析 


上 述 脚本 使 用 argparse 模 块 接收 用 户 的 输入 ， 处 理 主机 名 、 端 口 和 超时 时 间 。 超 时 时 间 指 
等 待 所 需 网 络 服务 的 时 间 。 这 个 脚本 创建 了 一 个 Netservicechecker 类 实例 , 然后 调用 check () 
方法 。 这 个 方法 计算 等 待 的 最 后 结束 时 间 ， 并 使 用 套 接 字 的 settimeout () 方 法 控制 每 次 循环 的 
结束 时 间 , 即 hext_timeout。 然后 check() 方 法 调用 套 接 字 的 connect () 方 法 在 超时 时 间 到 达 
之 前 测试 所 需 的 网 络 服务 是 否 可 用 。check () 方 法 还 能 捕获 套 接 字 超 时 异常 , 以 及 比较 套 接 字 超 
时 时 间 和 用 户 指定 的 超时 时 间 。 
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3.5” 枚 举 设备 中 的 接口 


在 Python 中 列 出 设备 中 的 网 络 接口 并 不 难 。 有 很 多 第 三 方 库 可 以 使 用 ， 只 需 几 行 代 码 即 可 。 
不 过 ， 我 们 来 看 一 下 如 何 只 使 用 套 接 字 调用 完成 这 一 操作 。 














3.5.1 准备 工作 
这 个 攻略 需要 在 Linux 设 备 中 运行 。 若 想 列 出 可 用 的 网 络 接口 ， 可 以 执行 下 面 的 命令 : 





$ /sbin/ifconfig 





3.5.2 ”实战 演练 





代码 清单 3-4 展 示 了 如 何 列 出 网 络 接口 ， 如 下 所 示 : 


d$!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 3 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import sys 

import socket 
import fcntl 
import struct 
import array 


SIOCGIFCONF = 0x8912 #from C library sockios.h 
STUCT SIZE 32 - 32 

STUCT SIZE 64 - 40 

PLATFORM 32 MAX NUMBER =  2**32 

DEFAULT INTERFACES = 8 























def list interfaces(): 
interfaces - [] 
max interfaces - DEFAULT INTERFACES 
is 64bits - sys.maxsize » PLATFORM 32 MAX NUMBER 
struct size - STUCT SIZE 64 if is 64bits else STUCT SIZE 32 
Sock - socket.socket(socket.AF INET, socket.SOCK DGRAM) 
while True: 
bytes - max interfaces * struct size 
interface names = array.array('B', '\0' * bytes) 
Sock info = fcntl.ioctl( 
sock.fileno(), 
SIOCGIFCONF, 
struct.pack('iL', bytes, interface names.buffer info()[01) 


























) 
outbytes - struct.unpack('iL', sock info)[0] 
if outbytes -- bytes: 
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max interfaces *- 2 
else: 
break 
namestr - interface names.tostring() 
for i in range(0, outbytes, struct size): 
interfaces.append((namestr[i:i«16].split('V0', 1)[0])) 
return interfaces 


if name == ' main 
interfaces - list interfaces() 
print "This machine has $s network interfaces: $s." $(len(interfaces), interfaces) 


上 述 脚本 能 列 出 网 络 接口 ， 输 出 结果 如 下 : 





$ python 3 4 list network interfaces.py 
This machine has 2 network interfaces: ['lo', 'eth0']. 





3.5.8 ”原理 分 析 


这 个 攻略 使 用 低层 套 接 字 特性 找 出 系统 中 的 接口 。1ist_interfaces () 方 法 创建 一 个 套 接 



































字 对 象 , 通过 处 理 这 个 对 象 找到 网 络 接 口 信息 , 做 法 是 调用 fnct1 模 块 中 的 ioct1() 方 法 。 fnctl 











模块 用 到 了 一 些 Unix 程 序 ， 例 如 fnct1 () 。 这 个 接口 在 底层 的 文件 描述 符 套 接 字 上 执行 IO 控制 
操作 。 文 件 描述 符 通 过 在 套 接 字 对 象 上 调用 fileno () 方 法 获取 。 








ioctl1() 方 法 的 其 他 参数 包括 : C 套 接 字 库 中 定义 的 常量 sIOCGIFADDR， 以 及 使 用 struct 





模块 中 的 pack() 函数 生成 的 数据 结构 。 数 据 结构 中 指定 的 内 存 地 址 保存 在 变量 
interface_names 中 ， 经 修改 后 作为 ioct1() 方 法 的 结果 返回 。 从 ioct1 () 方 法 的 返回 结 
sock_info 中 取出 数据 后 ， 如 果 大 小 和 变量 bytes 相 等 , 则 将 网 络 接口 的 数量 翻 倍 。 为 了 防止 之 
前 假设 的 接口 数量 不 正确 ， 这 个 操作 要 在 一 个 while 循 环 中 完成 ， 以 便 找 出 所 有 接口 。 














接口 的 名 字 从 变量 interface_names 的 字符 串 形 式 中 提取 ， 先 读 取 这 个 变量 的 指定 字段， 











然后 再 把 获得 的 值 添 加 到 接口 列表 的 末尾 。 在 1ist_interfaces O 函数 的 最 后 ， 返 回 这 个 接口 
列表 。 











3.6 找 出 设备 中 某 个 接口 的 IP 地 址 


在 Python 网 络 应 用 程序 中 可 能 需要 找 出 某 个 网 络 接口 的 耳 地 址 。 


3.6(1 准备 工作 


似 的 功能 。 例 如 ，http://sourceforge.net/projects/pywin32/ 是 专 为 Windows 实 现 的 库 。 





这 个 攻略 是 Linux 专 用 的 。 有 一 些 Python 模 块 经 过 特别 设计 ， 为 Windows 和 Mac 平 台 提供 了 类 
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3.6(.2 ”实战 演练 
你 可 以 使 用 fnct1 模 块 在 你 的 设备 中 查询 中 地 址 。 
代码 清单 3-5 展 示 了 如 何在 你 的 设备 中 找 出 指定 接口 的 PP 地 址 ， 如 下 所 示 : 


#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 3 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import argparse 
import sys 
import socket 
import fcntl 
import struct 
import array 





def get ip address(ifname): 
S = socket.socket(socket.AF INET, socket.SOCK DGRAM) 
return socket.inet ntoa(fcntl.ioctl( 
s.fileno(), 
0x8915, 4 SIOCGIFADDR 
struct.pack('256s', ifname[:15]) 





) [20:24]) 

if name sz ' main '; 
parser - argparse.ArgumentParser(description-'Python networking utils') 
parser.add argument('--ifname', action-"store", dest-"ifname", required-True) 


given args - parser.parse args() 
ifname - given args.ifname 
print "Interface [$s] --» IP: $s" £$(ifname, get ip address(ifname)) 


这 个 脚本 的 输出 只 有 一 行 ， 如 下 所 示 : 


$ python 3 5 get interface ip address.py --ifname=eth0 
Interface [eth0] --» IP: 10.0.2.15 


3.6(3 ”原理 分 析 


这 个 攻略 和 前 一 个 攻略 类 似 。 上述 脚 本 接收 一 个 命令 行 参数 : 要 查询 的 IP 地 址 的 网 络 接口 名 。 
get ip address () 困 数 创建 一 个 套 接 字 对 象 ， 然 后 调用 fnct1.ioctl() 函数 利用 这 个 套 接 字 
对 象 查询 IP 信 息 。 注意 ，socket .inet_ntoa() 函数 的 作用 是 ,把 二 进 制 数据 转换 成 我 们 熟悉 的 
人 类 可 读 的 点 分 格式 。 











3.7. 探测 设备 中 的 接口 是 否 开 局 
如 果 设 备 中 有 多 个 网 络 接口 , 在 使 用 某 个 接口 前 你 需要 知道 它 的 状态 , 例如 ， 这 个 接口 是 否 
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开启 。 这 样 才能 保证 把 命令 传递 给 处 于 激活 状态 的 接口 。 


3.7.1 准备 工作 





这 个 攻略 是 为 Linux 设 备 编写 的 , 因此 无 法 在 Windows 或 Mac 主 机 上 运行 。 这 个 攻略 用 到 了 一 





个 著名 的 网 络 扫描 工具 一 一 nmap。 在 nmap 的 网 站 http:/nmap.org/ 中 可 以 了 解 更 多 信息 。 


运行 这 个 攻略 还 需要 python-nmap 模 块 ， 可 使 用 pip 安 装 ， 如 下 所 示 : 





$ pip install python-nmap 


3.7.2 ”实战 演练 


我 们 可 以 创建 一 个 套 接 字 对 象 , 然后 获取 接口 的 PP 地 址 , 再 使 用 任何 一 种 扫描 技术 探测 接口 


的 状态 。 
代码 清单 3-6 展 示 了 如 何 探测 网 络 接口 的 状态 ， 如 下 所 示 : 





#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 3 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import argparse 
import socket 
import struct 
import fcntl 
import nmap 


SAMPLE PORTS - '21-23' 





def get interface status(ifname): 

Sock - socket.socket(socket.AF INET, socket.SOCK DGRAM) 

ip address - socket.inet ntoa(fcntl.ioctl( 
Ssock.fileno(), 
0x8915, 4SIOCGIFADDR, C socket library sockios.h 
struct.pack('256s', ifname[:15]) 

) [20:24]) 

nm - nmap.PortScanner() 

nm.scan(ip address, SAMPLE PORTS) 

return nm[ip address].state() 








if name == ' main 
parser = argparse.ArgumentParser(description-'Python networking utils') 





parser.add argument('--ifname', action-"store", dest-"ifname", required-True) 


given args - parser.parse args() 
ifname - given args.ifname 
print "Interface [$s] is: $s" $(ifname, get interface status(ifname)) 
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如 果 运 行 这 个 脚本 查询 eth0 的 状态 ， 会 看 到 类 似 下 面 的 输出 


$ python 3 6 find network interface status .py --ifname=eth0 
Interface [eth0] is: up 





3.7.3 原理 分 析 


这 个 攻略 从 命令 行 中 读 取 接口 名 ， 然 后 将 其 传 给 get_interface_status () KH. XAK 
数 通过 处 理 一 个 UDP 套 接 字 对 象 找 到 该 接口 的 耳 地址 。 


这 个 攻略 需要 第 三 方 模块 nmap 的 支持 。 我 们 可 以 使 用 pip 从 PyPI 上 安装 这 个 模块 。nmap 扫 
描 的 实例 nm， 是 通过 调用 Portscanner () 创建 的 。 初 步 扫描 本 地 王后 就 能 获取 对 应 网 络 接口 的 











3.8 检测 网 络 中 未 开局 的 设备 


如 果 有 人 给 你 网 络 中 一 些 设备 的 人 P 地 址 ,让 你 编写 一 个 脚本 定期 找 出 哪些 主机 未 开启 ,你 可 
以 编写 一 个 网 络 扫 描 类 型 的 程序 ， 而 无 需 在 目标 主机 电脑 中 安装 任何 软件 。 





3.8.1 ”准备 工作 


个 攻略 需要 安装 Scapy 库 ( 2.2 以 上 版 本 )， 下 载 地 址 为 http://www.secdev.org/projects/scapy/ 
EO MGR 


3.8.2 ”实战 演练 


我 们 可 以 使 用 成 熟 的 第 三 方 网 络 分 析 库 Scapy 启 动 ICMP 扫 描 。 因 为 我 们 要 定期 运行 这 个 脚 
所 以 需要 用 到 Python 中 的 sched 模 块 ， 安 排 扫 描 任 务 。 


代码 清单 3-7 展 示 了 如 何 检测 未 开启 的 设备 ， 如 下 所 示 : 


$1!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 3 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 
# This recipe requires scapy-2.2.0 or higher 


本 








import argparse 

import time 

import sched 

from scapy.all import sr, srp, IP, UDP, ICMP, TCP, ARP, Ether 
RUN FREQUENCY - 10 

Scheduler - sched.scheduler(time.time, time.sleep) 
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def detect inactive hosts(scan hosts): 
Scans the network to find scan hosts are live or dead 
scan hosts can be like 10.0.2.2-4 to cover range. 
See Scapy docs for specifying targets. 
global scheduler 
scheduler.enter(RUN FREQUENCY, 1, detect inactive hosts, (scan hosts, )) 
inactive hosts - [] 
try: 
ans, unans = sr(IP(dst-scan hosts)/ICMP(), retry=0, timeout-1) 
ans.summary(lambda(s,r) : r.sprintf("$IP.src$ is alive")) 
for inactive in unans: 
print "£s is inactive" $inactive.dst 
inactive hosts.append(inactive.dst) 











print "Total $d hosts are inactive" £(len(inactive hosts)) 
except KeyboardInterrupt: 





exit(0) 
if name == "main ": 
parser = argparse.ArgumentParser (description-'Python networking utils') 
parser.add argument('--scan-hosts', action-"store", dest-"scan hosts", 


required-True) 
given args - parser.parse args() 
scan hosts - given args.scan hosts 
Scheduler.enter(1, 1, detect inactive hosts, (scan hosts, )) 
scheduler.run() 


这 个 脚本 的 输出 如 下 面 的 命令 行 所 示 : 


$ sudo python 3 7 detect inactive machines.py --scan-hosts-10.0.2.2-4 
Begin emission: 

.*...Finished to send 3 packets. 

Received 6 packets, got 1 answers, remaining 2 packets 
10.0.2.2 is alive 

10.0.2.4 is inactive 

10.0.2.3 is inactive 

Total 2 hosts are inactive 

Begin emission: 

*.Finished to send 3 packets. 

Received 3 packets, got 1 answers, remaining 2 packets 
10.0.2.2 is alive 

10.0.2.4 is inactive 

10.0.2.3 is inactive 

Total 2 hosts are inactive 


3.8.8 ”原理 分 析 
上 述 脚本 先 从 命令 行 中 读 取 一 组 网 络 主机 的 地 址 ， 保 存 到 变量 scan_hosts 中 ， 然 后 创建 一 
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个 日 程 表 , 每 隔 一 秒 运行 一 次 detect_inactive_hosts () MŽ. detect. inactive hosts() 
函数 的 参数 是 scan_hosts， 该 函数 调用 了 Scapy 库 的 sr () 函数 。 























detect inactive hosts () 图 数 再 次 调用 schequle.enter () 图 数 ,以 安排 自己 10 秒 钟 之 
后 再 次 运行 。 如 此 一 来 ， 我 们 就 能 定期 执行 扫描 任务 了 。 

Scapy 库 的 sr () 函数 接收 的 参数 分 别 是 IP、 协 议和 一 些 扫描 控制 信息 。 在 这 个 脚本 中 ， 把 
scan_hosts 传 给 IP() 方 法 ,作为 扫描 的 目标 主机 , 协议 指定 为 ICMP。 协议 还 可 使 用 TCP 或 UDP。 
我 们 没有 指定 重 试 一 次 并 把 超时 时 间 设 为 一 秒 ， 以 便 提升 脚本 的 运行 速度 。 你 可 以 自己 尝试 , dE 
到 符合 需求 的 选项 值 。 






































扫描 函数 sr () 在 一 个 元 组 中 返回 有 应 答 的 主机 和 无 应 管 的 主机 。 我们 获取 了 无 应 答 的 主机 ， 
构建 成 一 个 列表 ， 然 后 打印 出 来 。 


3.0 使 用 相连 的 套 接 字 执行 基本 的 进程 间 通 信 


有 时 ， 两 个 脚本 要 通过 两 个 进程 彼此 通信 。 在 Unix/Linux 中 ， 有 一 个 概念 叫 作 “相连 的 套 接 
字 ”， 即 socketpair。 这 一 节 对 此 做 些 实验 。 

















3.9.1 准备 工作 


这 个 脚本 为 Unix/Linux 主 机 而 编写 ， 不 适合 在 Windows/Mac 中 运行 。 


3.0.2 ”实战 演练 
我 们 要 在 test_socketpair O 函数 中 编写 几 行 代码 ， 测 试 套 接 字 的 socketpaizr () 函数 。 
代码 清单 3-8 是 一 个 socketpair 用 法 示例 ， 如 下 所 示 : 
#!/usr/bin/env python 
# Python Network Programming Cookbook -- Chapter - 3 
# This program is optimized for Python 2.7. 


# It may run on any other version with/without modifications. 


import socket 
import os 


BUFSIZE - 1024 





def test socketpair(): 
" Test Unix socketpair"'"" 
parent, child = socket.socketpair() 
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pid = os.fork() 





try: 

if pid: 
print "GParent, sending message..." 
child.close() 
parent.sendall("Hello from parent!") 
response = parent.recv(BUFSIZE) 
print "Response from child:", response 
parent.close() 

else: 


print "GChild, waiting for message from parent" 
parent.close() 
message = child.recv(BUFSIZE 
print "Message from parent:", message 
child.sendall("Hello from child!!") 
child.close() 

except Exception, err: 

print "Error: $s" berr 











if name == '_ main, 
test socketpair() 


上 述 脚 本 的 输出 如 下 所 示 : 





$ python 3 8 ipc using socketpairs.py 
QGParent, sending message... 

QGChild, waiting for message from parent 
Message from parent: Hello from parent! 
Response from child: Hello from child!! 


3.9.8 ”原理 分 析 


socket .socketpair() 函数 返回 的 是 两 个 相连 的 套 接 字 对 象 ， 这 里 我 们 把 其 中 一 个 称 为 父 
ERF, 另 一 个 称 为 子 套 接 字 。 我 们 调用 os . fork () 方 法 派生 出 了 另 一 个 进程 ,其 返回 结果 是 父 
进程 的 ID。 在 各 个 进程 中 , 先 把 另 一 个 进程 中 的 套 接 字 关闭 ,然后 在 当前 进程 中 的 套 接 字 上 调用 
sendall () 方 法 交换 消息 。 在 try-except 块 中 如 果 出 现 异常 ， 就 把 错误 打印 出 来 。 











3.10 ”使 用 Unix 域 套 接 字 执 行进 程 间 通信 


有 时 使 用 Unix 域 套 接 字 (Unix Domain Socket, 简称 UDS ) 处 理 两 个 进程 之 间 的 通信 更 方便 。 
在 Unix 中 ,一切 都 是 文件 如 果 你 需要 一 个 这 种 进程 间 通 信和 的 例子 , 这 个 攻略 可 以 给 你 一 些 帮 助 。 

















3.10.1 实战 演练 
我 们 要 启动 一 个 UDS 服 务 器 ， 绑 定 到 一 个 文件 系统 路 径 上 。 然 后 启动 一 个 UDS 客 户 端 , 使 用 





图 灵 社区 会 员 木头 |bj(flt0426@163.com) 专 享 尊重 版 权 


3.10 使 用 Unix 域 套 接 字 执行 进程 间 通 信 59 





相同 的 路 径 和 服务 器 通信 。 
代码 清单 3-9a 是 一 个 Unix 域 套 接 字 服务 器 ， 如 下 所 示 : 





#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 3 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import socket 
import os 
import time 











SERVER PATH - "/tmp/python unix socket server" 





def run unix domain socket server(): 
if os.path.exists(SERVER PATH): 
os.remove( SERVER PATH ) 




















print "starting unix domain socket server." 
Server = socket.socket( socket.AF UNIX, socket.SOCK DGRAM ) 
server.bind(SERVER PATH) 




















print "Listening on path: %s" $SERVER PATH 
while True: 

datagram - server.recv( 1024 ) 

if not datagram: 





break 
else: 
print "-" * 20 
print datagram 
if "DONE" -- datagram: 
break 
print "-" * 20 


print "Server is shutting down now..." 
server.close() 

os.remove(SERVER PATH) 

print "Server shutdown and path removed." 











ZEE name == '_ qain ': 
run unix domain socket server() 








代码 清单 3-9b 是 一 个 UDS 客 户 端 ， 如 下 所 示 


d$!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 3 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import socket 
import sys 
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SERVER PATH = "/tmp/python unix socket server" 











def run unix domain socket client(): 
""" Run "a Unix domain socket client 
Sock - socket.socket(socket.AF UNIX, socket.SOCK DGRAM) 





# Connect the socket to the path where the server is listening 
Server address - SERVER PATH 
print "connecting to $s" $ server address 
try: 
Sock.connect(server address) 
except socket.error, msg: 
print »»sys.stderr, msg 
sys.exit(1) 











try: 
message - "This is the message. This will be echoed back!" 
print "Sending [$s]" message 
Sock.sendall (message) 
amount received - 0 
amount expected - len(message) 


while amount received « amount expected: 
data - sock.recv(16) 
amount received += len(data) 
print »»sys.stderr, "Received [$s]" $ data 


finally: 
print "Closing client" 
Sock.close() 
if name == '_ qmaim ': 
run unix domain socket client() 


服务 吉 的 输出 如 下 所 示 : 


$ python 3 9a unix domain socket server.py 
starting unix domain socket server. 
Listening on path: /tmp/python unix socket server 











This is the message. This will be echoed back! 
客户 端的 输出 如 下 所 示 : 


$ python 3 9b unix domain socket client .py 
connecting to /tmp/python unix socket server 
Sending [This is the message. This will be echoed back!] 





3.10.2 原理 分 析 
我 们 为 UDS 客 户 端 和 服务 器 定义 了 一 个 共用 的 路 径 ， 二 者 都 用 这 个 路 径 连 接 和 监听 。 
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在 服务 器 的 代码 中 ,如 果 前 一 次 运行 脚本 后 路 径 仍 然 存在 ， 就 将 其 删除 。 然 后 创建 一 个 Unix 
数据 报 套 接 字 ， 绑 定 到 指定 的 路 径 上 ， 监 听 进 入 的 连接 。 在 数据 处 理 循环 中 ， 使 用 recv () 方 法 
获取 客户 端 发 出 的 数据 并 打印 到 屏幕 上 。 


客户 端 代码 直接 打开 一 个 Unix 数 据 报 套 接 字 , 连接 共用 的 服务 器 地 址 。 客 户 端 调用 sendall () 
方法 向 服务 器 发 送 一 个 消息 ， 然 后 等 待 这 些 消 息 返回 ， 再 打印 出 来 。 


























3.11 确认 你 使 用 的 Python 是 否 支 持 IPv6 套 接 字 


下 第 6 版 (IPv6 ) 在 业内 越 来 越 多 地 被 用 来 开发 新 型 应 用 。 如 果 你 想 编写 一 个 IPv6 应 用 程序 ， EE 
首先 要 知道 你 的 设备 是 否 支持 IPv6。 在 Linux/Unix 中 ， 可 通过 下 面 的 命令 确认 : 





























$ cat /proc/net/if inet6 
00000000000000000000000000000001 01 80 10 80 lo 
fe800000000000000a0027fffe950d1a 02 40 20 80 eth0 


使 用 Python 脚 本 也 可 以 检查 你 的 设备 是 否 支 持 IPv6， 以 及 所 安装 的 Python 是 否 文 持 。 














/ 


3.11.1 准备 工作 


在 这 个 攻略 中 ， 要 使 用 pip 安 装 一 个 Python 第 三 方 库 ，netifaces， 如 下 所 示 : 


$ pip install netifaces 


3.11.2 ”实战 演练 


我 们 可 以 使 用 第 三 方 库 netifaces 确 认 你 的 设备 是 否 支 持 IPv6。 我 们 要 调用 这 个 库 中 的 
interfaces() 限 数 ， 列 出 系统 中 的 所 有 接口 。 


代码 清单 3-10 是 检查 设备 是 否 支持 IPv6 的 Python 脚本 ， 如 下 所 示 : 


























d$!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 3 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 
#IPv6 test in Unix commandline: $cat /proc/net/if inet6 





import socket 
import argparse 
import netifaces as ni 


def inspect ipv6 support(): 


" Find the ipv6 address"'"" 
print "IPV6 support built into Python: $s" $£socket.has ipv6 
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ipv6 addr = () 
for interface in ni.interfaces(): 
all addresses - ni.ifaddresses(interface) 
print "Interface $s:" £interface 
for family,addrs in all addresses.iteritems(): 
fam name - ni.address families[family] 





print ' Address family: $s' $ fam name 
for addr in addrs: 
if fam name -- 'AF INET6': 
ipv6 addr[interface] - addr['addr'] 
print , Address : $s' $ addr['addr'] 
nmask - addr.get('netmask', None) 
if nmask: 
print * Netmask : $s' $ nmask 
bcast - addr.get('broadcast', None) 
if bcast: 
print ' Broadcast: $s' % bcast 


if ipv6 addr: 

print "Found IPv6 address: $s" $ipv6 addr 
else: 

print "No IPv6 interface found!" 


iË name se 1 main s: 
inspect ipv6 support() 


这 个 脚本 的 输出 如 下 所 示 : 





$ python 3 10 check ipv6 support .py 
IPV6 support built into Python: True 
Interface lo: 
Address family: AF PACKET 
Address  : 00:00:00:00:00:00 
Address family: AF INET 
Address : 127.0.0.1 
Netmask : 255.0.0.0 
Address family: AF_INET6 
Address : :: 
Netmask : ffff:ffff:ffff:ffff:ffff:ffff:ffff:ffff 
Interface eth0: 
Address family: AF_PACKET 
Address : 08:00:27:95:0d:1a 
Broadcast: ff:ff:ff:ff:ff:ff 
Address family: AF INET 
Address : 10.0.2.15 
Netmask : 255.255.255.0 
Broadcast: 10.0.2.255 
Address family: AF_INET6 
Address : fe80::a00:27££:£e95:d1a 
Netmask : ffff:ffff:ffff:ffff:: 
Found IPv6 address: ('1lo': '::1', 'eth0': 'fe80::a00:27££:£e95:d1a') 
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3.11.3 ”原理 分 析 


检查 设备 是 否 支持 IPv6 的 函数 inspect_ipv6_support 0 首先 使 用 socket .has_ipv6 检 
查 编 译 Python 时 是 否 加 入 了 IPv6 支 持 。 然 后 调用 netifaces 模 块 中 的 interfaces () 函数 ， 列 出 
所 有 接口 。 调 用 ifaddresses () 方 法 时 如 果 传 人 了 一 个 网 络 接口 ， 会 返回 这 个 接口 的 所 有 卫 地 
址 。 然 后 从 中 提取 不 同 的 下 相关 信息 ,例如 协议 族 、 地 址 、 网 络 掩 码 和 广播 地 址 。 如 果 协 议 族 匹 
配 AF_INET6， 就 把 网 络 接口 的 地 址 添加 到 IPv6_address 字 上 典 中 。 





























3.12 ”从 IPv6 地 址 中 提取 IPv6 mug 


在 IPv6 应 用 中 ,你 要 从 IPv6 地 址 中 找 出 前 缀 信息 。 ， 按 照 RFC 3513 的 定义 ， 前面 的 64 位 
a eie 前 级 和 子 网 ID 组 成 。 通 常 使 用 domm (例如 /48 )， 可 以 定义 很 多 更 
、 更 具体 的 前 级 (例如 /64 )。 使 用 Python 脚本 可 以 更 方便 的 生成 前 缀 信息 。 























3.12.1 ”实战 演练 
我 们 可 以 使 用 第 三 方 库 netifaces 和 netaddr 找 出 IPv6 地 址 中 的 IPv6 前 级 ， 如 下 所 示 : 


#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 3 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import socket 
import netifaces as ni 
import netaddr as na 


def extract ipv6 info(): 

""" Extracts IPv6 information""" 
print "IPV6 support built into Python: $s" $socket.has ipv6 
for interface in ni.interfaces(): 

all addresses - ni.ifaddresses(interface) 

print "Interface $s:" $interface 

for family,addrs in all addresses.iteritems(): 

fam name - ni.address families[family] 








dprint ' Address family: $s' $ fam name 
for addr in addrs: 
if fam name == 'AF INET6': 


addr = addr['addr'] 
has eth string - addr.split("$eth") 
if has eth string: 

addr = addr.split("$eth")[0] 


print " IP Address: $s" $na.IPNetwork(addr) 

print " IP Version: $s" $£na.IPNetwork(addr).version 

print " IP Prefix length: $s" £na.IPNetwork(addr).prefixlen 
print " Network: $s" $na.IPNetwork(addr).network 
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print ™ Broadcast: $s" $£na.IPNetwork(addr).broadcast 


if name == '_ main, 
extract ipv6 info() 


这 个 脚本 的 输出 如 下 所 示 : 





$ python 3 11 extract ipv6 prefix.py 
IPV6 support built into Python: True 
Interface lo: 
IP Address: ::1/128 
IP Version: 6 
IP Prefix length: 128 
Network: ::1 
Broadcast: ::1 
Interface eth0: 
IP Address: fe80::a00:27ff:fe95:d1a/128 
IP Version: 6 
IP Prefix length: 128 
Network: fe80::a00:27£ff:fe95:d1a 
Broadcast: fe80::a00:27££:fe95:d1a 





3.12.2. 原理 分 析 


Python 的 netifaces 库 使 用 interfaces 0 和 ifaddresses() 两 个 函数 获取 网 络 接口 的 
IPv6 地 址 。 处 理 网 络 地 址 时 使 用 netaqar 模 块 特别 方便 。 这 个 模块 中 的 ITPNetwork () 类 构造 方法 
会 提供 一 个 IPv4 或 IPv6 地 址 ， 并 计算 出 前 级 、 网 络 地 址 和 广播 地 址 。 这 些 信息 从 IPNetwork () 
类 实例 的 version . prefixlen, network 和 broadcast 属 性 中 获取 。 























3.13 ”编写 一 个 IPv6 回 显 客 户 端 /服务 器 
你 要 编写 一 个 支持 IPv6 的 服务 器 或 客户 端 ， 才 能 知道 它 和 IPv4 版 有 何 区 别 。 


3.13.1 ”实战 演练 


这 里 使 用 的 方案 和 编写 IPv4 回 显 客户 端 /服务 器 一 样 。 唯 一 重要 的 区 别 是 , 使 用 IPv6 信 息 创建 
套 接 字 的 方法 。 


代码 清单 3-11a 是 IPv6 回 显 服务 器 ， 如 下 所 示 : 























#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 3 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import argparse 
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import socket 
import sys 


HOST - 'localhost' 


def echo server(port, host-HOST): 
"""Echo server using IPv6 """ 
for result in socket.getaddrinfo(host, port, socket.AF UNSPEC, socket.SOCK STR 
0, socket.AI PASSIVE): 
af, socktype, proto, canonname, sa - result 
try: 








E 





Sock - socket.socket(af, socktype, proto) 
except socket.error, err: 
print "Error: $s" err 








try: 
Sock.bind(sa) 
sock.listen(1) 
print "Server lisenting on $s:$s" £(host, port) 
except socket.error, msg: 
Sock.close() 
continue 
break 
sys.exit(1) 
conn, addr - sock.accept() 
print 'Connected to', addr 
while True: 
data - conn.recv(1024) 
print "Received data from the client: [$s]" $data 
if not data: break 
conn.send(data) 
print "Sent data echoed back to the client: [$s]" $data 
conn.close() 








if name se oo quain i 
parser = argparse.ArgumentParser(description-'IPv6 Socket Server Example') 
parser.add argument('--port', action-"store", dest-"port", type-int, 


required-True) 
given args - parser.parse args() 
port = given args.port 
echo, server (port) 


代码 清单 3-11lb 是 IPv6 回 显 客户 端 ， 如 下 所 示 : 


d$!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 3 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import argparse 


import socket 
import sys 
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HOST = 'localhost' 
BUFSIZE - 1024 





def ipv6 echo client(port, host-HOST): 
for res in socket.getaddrinfo(host, port, socket.AF UNSPEC, socket.SOCK STR 





af, socktype, proto, canonname, sa - res 
try: 
Sock - socket.socket(af, socktype, proto) 
except socket.error, err: 
print 
try: 
sock.connect (sa) 
except socket.error, msg: 
sock.close() 
continue 
if sock is None: 
print 'Failed to open socket! ' 
sys.exit (1) 
msg = "Hello from ipv6 client" 
print "Send data to server: %s" %msg 
sock. send (msg) 
while True: 
data = sock.recv(BUFSIZE) 
print 'Received from server', repr (data) 
if not data: 
break 
sock.close() 





'Error:$s" %err 








if name se * mein "s: 
parser - argparse.ArgumentParser(description-'IPv6 socket client example') 
parser.add argument('--port', action-"store", dest-"port", type-int, 


required-True) 
given args - parser.parse args() 
port - given args.port 
ipv6 echo client (port) 


Mtas ie n EH AP: 


$ python 3 12a ipv6 echo server.py --port-8800 

Server lisenting on localhost:8800 

Connected to ('127.0.0.1', 35034) 

Received data from the client: [Hello from ipv6 client] 

Sent data echoed back to the client: [Hello from ipv6 client] 


客户 端的 输出 如 下 : 





$ python 3 12b ipv6 echo client.py --port=8800 
Send data to server: Hello from ipv6 client 
Received from server 'Hello from ipv6 client' 


下 面 的 截图 展示 了 IPv6 客 户 端 和 服务 需 之 间 的 交互 : 
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File Edit View Search Terminal Help 


aruqQubuntu:chapter3$ python 3 12a ipv6 echo server.py --port-8800 
berver lisenting on localhost:8800 

onnected to ('127.0.0.1', 43596) 

Received data from the client: [Hello from ipv6 client] 

bent data echoed back to the client: [Hello from ipv6 client] 


faruq@ubuntu: chapter3 
File Edit View Search Terminal Help 


aruq@ubuntu:chapter3$ python 3 12b ipv6 echo client.py 
bend data to server: Hello from ipv6 client 


- -por t=8800 


Received from server 'Hello from ipv6 client' 





3.13.2 原理 分 析 


IPv6 回 显 服务 器 首先 调用 socket .getaddrinfo() 获 取 自 身 的 IPv6 人 信息。 注意 ,创建 TCP 
套 接 字 时 指定 的 协议 是 AF_UNSPEC。 得 到 的 信息 是 有 五 个 值 的 元 组 , 创建 服务 器 套 接 字 时 用 到 了 
其 中 三 个 信息 : 地 址 族 、 套 接 字 类 型 和 协议 。 然 后 把 套 接 字 绑 定 到 元 组 中 保存 的 套 接 字 地 址 上 ， 
监听 并 接受 进入 的 连接 。 建 立 连 接 后 ， 服 务 咒 接收 客户 端 发 来 的 数据 ， 然 后 回 显 给 客户 端 。 


在 客户 端 代 码 中 ， 我 们 创建 了 一 个 兼容 了 Pv6 的 客户 端 套 接 字 实例 ， 然 后 在 这 个 实例 上 调用 
send () 方 法 发 送 数据 ， 再 调用 recv () 方 法 获取 服务 器 回 显 的 数据 。 
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本 章 攻 略 : 


口 从 HTTP 服 务 器 下 载 数据 

口 在 你 的 设备 中 伺服 HTTP 请 求 

口 访问 网 站 后 提取 cookie 信 息 

口 提交 网 页 表单 

口 通过 代理 服务 器 发 送 Web 请 求 

口 使 用 HEAD 请 求 检查 网 页 是 否 存在 

D 把 客户 端 伪装 成 Mozilla Firefox 

O 使 用 HTTP 压 缩 节省 Web 请 求 消耗 的 带宽 

口 编写 一 个 支持 断 点 续 传 功能 的 HTTP 容 错 客户 端 

口 使 用 Python 和 OpenSSL 编 写 一 个 简单 的 HTTPS 服 务 器 












































4.1 简介 
本 章 介绍 Python HTTP 网 络 库 和 一 些 第 三 方 库 的 功能 。 例 如 ， 以 一 种 更 友好 、 更 简洁 的 方式 
处 理 HTTP 请 求 的 requests 库 。 其 中 有 一 个 攻略 用 到 了 openssL 库 , 创建 支持 SSL 的 Web 服 务 器 。 


多 个 攻略 都 介绍 了 HTTP 协 议 的 很 多 常规 特性 ， 例 如 使 用 PosT 请 求 提 交 网 页 表单 、 处 理 首部 
信息 和 使 用 压缩 等 。 











4.2 从 HTTP 服务 器 下 载 数 据 


你 可 能 想 要 编写 一 个 简单 的 HTTP 客 户 端 , 通过 原生 的 HTTP 协 议 从 任意 的 Web 服 务 器 上 下 载 
一 些 数据 。 这 是 自己 开发 HTTP 浏 览 需 的 第 一 步 。 
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4.2.1 实战 演练 


我 们 要 使 用 Python 编写 的 微型 浏览 器 访问 www.python.org。 这 个 浏览 器 使 用 Python 中 的 
httplib 模 块 编写 。 


代码 清单 4-1 说 明了 如 何 编写 一 个 简单 的 HTTP 客 户 端 ， 如 下 所 示 : 


d$!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 4 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import argparse 
import httplib 


REMOT! 
REMOT! 


ER HOST - 'www.python.org' 
ER PATH - '/' 


























class HTTPClient: 





def | init (self, host): 
self.host - host 











def fetch(self, path): 
http - httplib.HTTP(self.host) 
# Prepare header 
http.putrequest("GET", path) 
http.putheader("User-Agent", | file ) 
http.putheader("Host", self.host) 
http.putheader("Accept", "*/*") 
http.endheaders() 


try: 
errcode, errmsg, headers - http.getreply() 
except Exception, e: 
print "Client failed error code: $s message:$s headers:$s" $(errcode, 
errmsg, headers) 
else: 
print "Got homepage from $s" $self.host 





file - http.getfile() 
return file.read() 











if name sm "t qain. Us 

parser = argparse.ArgumentParser(description-'HTTP Client Example') 

parser.add argument('--host', action-"store", dest-"host", 
default-REMOTE SERVER HOST) 

parser.add argument('--path', action-"store", dest-"path", 
default-REMOTE SERVER PATH) 

















given args - parser.parse args() 
host, path = given args.host, given args.path 
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client = HTTPClient (host) 
print client.fetch(path) 


这 个 攻略 默认 从 www.python.org 中 获取 一 个 网 页 。 运 行 这 个 脚本 时 可 以 指定 主机 和 路 径 参 
数 ， 也 可 以 不 指定 。 运 行 脚本 后 会 看 到 如 下 输出 : 





$ python 4 1 download data.py --host=www.python.org 
Got homepage from www.python.org 
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http:// 
www.w3.org/TR/xhtml1/DTD/xhtmli1-transitional.dtd"» 
«html xmlns-"http://www.w3.0g/1999/xhtml" xml:lang-"en" lang-"en"» 
<head> 
<meta http-equiv="content-type" content="text/html; charset=utf-8" /> 
«title»Python Programming Language &ndash; Official Website</title> 


如 果 运 行 脚 本 时 指定 的 路 径 不 存在 ， 会 显示 如 下 的 服务 器 响应 : 


$ python 4 1 download data.py --host='www.python.org' --path-'/not-exist' 
Got homepage from www.python.org 
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http:// 
www.w3.org/TR/xhtmli1/DTD/xhtmli1-transitional.dtd"» 
«html xmlns-"http://www.w3.org/1999/xhtml" xml:lang-z"en" lang-"en"» 
<head> 
<meta http-equiv="content-type" content="text/html; charset=utf-8" /> 
<title>Page Not Found«/title» 
«meta name-"keywords" content-"Page Not Found" /> 
«meta name-"description" content-"Page Not Found" /> 


4.2.2 ”原理 分 析 


这 个 攻略 使 用 Python 的 内 置 库 http1lib， 定 义 了 一 个 HTTPCl1ient 类 ， 从 远程 主机 上 获取 数 
Jio 在 fetch() 方 法 中 使 用 HTTP() 函数 及 其 他 辅助 函数 (例如 putreauest () fllputheader () ) 
创建 了 一 个 虚拟 的 HTTP 客 户 端 , 首先 指定 一 个 GET/path 字 符 串 , 然后 设 定 用 户 代 理 , 其 值 为 当 
前 脚本 (__file X 


发 起 请 求 的 getreply () 方 法 放 在 一 个 try-except 块 中 。 响 应 通过 getfile() 方 法 获取 ， 
然后 读 取 数据 流 中 的 内 容 。 























4.3 在 你 的 设备 中 伺服 HTTP 请 求 


你 可 能 想 编写 一 个 自己 的 Web 服 务 器 ， 处 理 客户 端 请 求 ， 返 回 一 个 简单 的 欢迎 消息 。 





4.3.1. 实战 演练 
Python 集成 了 一 个 非常 简单 的 Web 服 务 器 ， 可 以 在 命令 行 中 启动 ， 如 下 所 示 : 


lun 
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$ python -m SimpleHTTPServer 8080 


执行 这 个 命令 后 会 在 端口 8080 上 启动 一 个 HTTP Web 服 务 器 。 通 过 在 浏览 器 中 输入 
http://localhost:8080， 可 以 访问 这 个 服务 器 。 你 将 看 到 的 是 运行 上 述 命令 时 所 在 文件 夹 里 的 内 容 。 
如 果 这 个 文件 夹 中 有 能 被 Web 服 务 器 识别 的 索引 文件 , 例如 index.html, 在 浏览 器 中 就 会 显示 这 个 
文件 的 内 容 。 如 果 你 想 完 全 掌控 Web 服 务 器 ， 就 得 启动 自己 定制 的 HTTP 服 务 器 。 


代码 清单 4-2 是 这 个 定制 的 HTTP Web 服 务 器 ， 如 下 所 示 : 


#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 4 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import argparse 
import sys 
from BaseHTTPServer import BaseHTTPRequestHandler, HTTPServer 


9 


EFAULT HOST - '127.0.0.1' 
DEFAULT PORT - 8800 








class RequestHandler(BaseHTTPRequestHandler): 
""" Custom request handler""" 


def do GET(self): 
""" Handler for the GET requests """ 
self.send response (200) 
self.send header('Content-type','text/html') 
self.end headers() 
# Send the message to browser 
self.wfile.write("Hello from server!") 
return 





class CustomHTTPServer (HTTPServer): 
"A custom HTTP server" 
def | init (self, host, port): 
server address - (host, port) 
HTTPServer. init (self, server address, RequestHandler) 


def run server(port): 
try: 
server- CustomHTTPServer (DEFAULT HOST, port) 
print "Custom HTTP server started on port: $s" % port 
server.serve forever() 











except Exception, err: 
print "Error:$s" $err 

except KeyboardInterrupt: 
print "Server interrupted and is shutting down..." 
Server.socket.close() 








AE name ss t comainm "s 
parser = argparse.ArgumentParser (description='Simple HTTP Server Example') 








图 灵 社区 会 员 木头 |bj(flt0426@163.com) GE 尊重 版 权 


72 € 43k HTTP 协议 网 络 编程 





parser.add argument('--port', action-"store", dest-"port", type-int, 
default-DEFAULT PORT) 

given args - parser.parse args() 

port - given args.port 

run, server (port) 


下 面 的 截图 是 一 个 简单 的 HTTP 服 务 顺 : 





File Edit View Search Terminal Help 
faruqQubuntu:chapter4$ python 4 2 simple http server.py --port=8800 
Custom HTTP server started on port: 8800 

- [22/Feb/2014 11:25:41] "GET / HTTP/1.1" 290 - 

- [22/Feb/2014 11:25:41] "GET /favicon.ico HTTP/1.1" 200 - 


习 localhost:8800 - Google Chrome 





localhost:8800 


e Ə localhost A 


Hello from server! 





ZÍ xA Webik ý rr, AREA APA, SARN esrPARNI-—IXAS "Hello from 
server!" , Jl FIR: 


$ python 4 2 simple http server.py --port-8800 

Custom HTTP server started on port: 8800 

localhost - - [18/Apr/2013 13:39:33] "GET / HTTP/1.1" 200 - 
localhost - - [18/Apr/2013 13:39:33] "GET /favicon.ico HTTP/1.1" 200 





4.3.2 ”原理 分 析 


在 [E 这 个 攻 Wk 中 ， 我 们 AE X 了 了 CustomHTTPServer 类 它 继 TK 自 HTTPServer 类 8 在 
CustomHTTPServer 类 的 构造 方法 中 ， 设 定 了 服务 器 地 址 和 用 户 输 入 的 端口 号 ， 还 用 到 了 
RequestHandler 类 。 客 户 端 连 到 服务 器 上 时 ， 服 务 器 就 通过 RequestHandler 类 人 处理 请 求 。 


RequestHandler 类 定义 了 处 理 客户 端 sET 请 求 的 方法 。 这 个 方法 向 客户 端 发 送 一 个 HTTP 
首部 (状态 码 200 )， 然 后 使 用 write () 方 法 返回 一 个 成 功 消息 “Hello from server!” 




















4.4 ”访问 网 站 后 提取 cookie 信息 


很 多 网 站 使 用 cookie 在 你 的 本 地 硬盘 中 存储 各 种 信息 。 你 可 能 想 要 查看 cookie 中 保存 的 信息 ， 
或 者 使 用 cookie 自 动 登录 网 站 。 
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4.4.1 实战 演练 


假设 我 们 要 登录 流行 的 代码 分 享 网 站 wwwbitbucketorg ， 我 们 要 在 登录 页 面 (https:/bitbucket. 
org/ account/signin/?next-/ ) 提交 登录 信息 。 登 录 页 面 的 截图 如 下 所 示 : 





d & Atlassian, Inc. [US] https://bitbucket.org, 
Log in 
Username or email 
Password 
dan i 
or 
图 Google 四 Facebook 





Twitter 


Switch to 


Log in — Bitbucket - Google Chrome 
© Log in—Bitbucket 


OpeniD log in 


GitHub 











我 们 要 记 下 表单 中 几 个 字段 的 ID ,然后 决定 提交 哪些 虚拟 值 。 我 们 首先 要 访问 登录 页 面 , 再 


访问 首页 ， 查 看 在 cookie 中 保存 了 什么 。 


代码 清单 4-3 说 明了 如 何 提取 cookie 信 息 ， 如 下 所 示 : 


#!/usr/bin/env python 


# Python Network Programming Cookbook -- Chapter - 4 


# This program is optimized for Python 2.7. 


# It may run on any other version with/without modifications. 


cookielib 
urllib 
urllib2 


impor 
impor 


ct ct cf 


impor 





ID USERNAME - 'id username' 
ID PASSWORD = 'id password' 
USERNAME = 'youGemail.com' 
PASSWORD - 'mypassword' 

LOGIN URL - 
NORMAL URL - 

















'https://bitbucket.org/' 





def extract cookie info(): 
""" Fake login to a site with cookie"'"" 
# setup cookie jar 
Cj = cookielib.CookieJar() 





: USERNAME 





'https://bitbucket.org/account/signin/?next-/' 





login data = urllib.urlencode((ID USERNAME 


ID. PASSWOR 


# create url opener 


D 





opener = urllib2.build opener (urllib2.HTT 


: PASSWOR 
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if 


resp - opener.open(LOGIN URL, login data) 
# send login info 
for cookie in cj: 
print "----First time cookie: $s --» $s" £$(cookie.name, cookie.value) 
print "Headers: $s" $resp.headers 
# now access without any login info 
resp - opener.open(NORMAL URL) 
for cookie in cj: 
print "++++Second time cookie: $s --» $s" £$(cookie.name, cookie.value) 


print "Headers: $s" $resp.headers 


name == ' main o ': 





extract cookie info() 


运行 这 个 脚本 后 得 到 的 输出 如 下 : 





$ python 4 3 extract cookie information.py 

----First time cookie: bb session --» aed58dde1228571bf£60466581790566d 
Headers: Server: nginx/1.2.4 

Date: Sun, 05 May 2013 15:13:56 GMT 

Content-Type: text/htm1; charset-utf-8 

Content-Length: 21167 

Connection: close 

X-Served-By: bitbucket04 

Content-Language: en 

X-Static-Version: c67fb01467cf 

Expires: Sun, 05 May 2013 15:13:56 GMT 

Vary: Accept-Language, Cookie 

Last-Modified: Sun, 05 May 2013 15:13:56 GMT 

X-Version: 14f9c66ad9db 

ETag: "3ba81d9eb350c295a453b5ab6e88935e" 

X-Request-Count: 310 

Cache-Control: max-age=0 

Set-Cookie: bb session-aed58dde1228571bf£60466581790566d; expires=Sun, 19- 
May-2013 15:13:56 GMT; httponly; Max-Age=1209600; Path=/; secure 





Strict-Transport-Security: max-age=2592000 
X-Content-Type-Options: nosniff 


++++Second time cookie: bb session --> aed58dde1228571bf£60466581790566d 
Headers: Server: nginx/1.2.4 

Date: Sun, 05 May 2013 15:13:57 GMT 
Content-Type: text/htm1; charset-utf-8 
Content-Length: 36787 

Connection: close 

X-Served-By: bitbucket02 
Content-Language: en 

X-Static-Version: c67fb01467cf 

Vary: Accept-Language, Cookie 
X-Version: 14f9c66ad9db 
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X-Request-Count: 97 
Strict-Transport-Security: max-age-2592000 
X-Content-Type-Options: nosniff 


44.2 ”原理 分 析 


我 们 使 用 Python 中 的 cookielib 模 块 创建 了 一 个 cookie 容 右 cj 。 登 录 数 据 使 用 
urllib.urlencode() 方 法 编码 。url1ib2 模 块 中 有 个 builg_opener () 方 法 ， 其 参数 是 一 个 
HTTPCookieProcessor 类 实例 。 我 们 要 把 之 前 创建 的 cookie 容 器 传 给 HTrTPCookieProcessor 
类 的 构造 方法 。url1ib2 .builgd_opener () 方 法 的 返回 值 是 一 个 URL 打 开 器 。 我 们 要 调用 这 个 
打开 器 两 次 : 一 次 访问 登录 页 面 , 一 次 访问 网 站 的 首页 。 从 响应 的 首部 可 以 看 出 , TESet-Cookie 
首部 中 只 设 定 了 一 个 cookie， 即 bb_session。cookielib 模 块 的 更 多 信息 可 以 在 Python 官方 文 
档 中 查看 ， 网 址 是 http://docs.python.org/2/library/cookielib.html。 




















4.5 提交 网 页 表单 
浏览 网 络 时 , 一 天 之 中 我 们 要 提交 好 多 次 网 页 表单 。 现在, 我 们 要 使 用 Python 代码 提交 表单 。 


4.5.1 准备 工作 


这 个 攻略 用 到 了 一 个 Python 第 三 方 模块 ， 叫 作 r*eauests。 这 个 模块 的 安装 方法 参见 安装 指 
Bj: http://docs.python-requests.org/en/latest/user/install/ 。 例 如 ， 可 以 在 命令 行 中 使 用 pip 安 装 
requests 模 块 ， 如 下 所 示 : 


$ pip install requests 


4.5.2 ”实战 演练 


让 我 们 来 提交 一 些 虚 拟 数据 ， 注 册 Twitter 账 户 。 提 交 表 单 可 以 使 用 两 种 请 求 方法 : GET 和 
POST。 不 太 敏 感 的 数据 ， 例 如 搜索 查询 ， 一 般 使 用 GET 请求 提交 。 敏 感 的 数据 则 通过 PosT 请 求 
发 送 。 我 们 来 试 一 下 使 用 这 两 种 方法 提交 数据 。 


代码 清单 4-4 说 明了 如 何 提交 网 页 表单 ， 如 下 所 示 : 





d$!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 4 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import requests 
import urllib 
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import urllib2 





























ID USERNAME - 'signup-user-name' 

ID EMAIL - 'signup-user-email' 

ID PASSWORD - 'signup-user-password' 

USERNAME - 'username' 

EMAIL - 'youGemail.com' 

PASSWORD = 'yourpassword' 

SIGNUP URL - 'https://twitter.com/account/create' 


def submit form(): 
"""Eubmit a form""" 
payload - (ID USERNAME : USERNAME, 
ID EMAIL : EMAIL, 
ID PASSWORD : PASSWORD, ) 























# make a get request 
resp - requests.get(SIGNUP URL) 
print "Response to GET request: $s" £resp.content 





# send POST request 

resp - requests.post(SIGNUP URL, payload) 

print "Headers from a POST request response: $s" £resp.headers 
dprint "HTML Response: $s" £resp.read() 


if name sso? gain ': 
submit form() 





运行 这 个 脚本 后 ， 会 看 到 如 下 输出 : 





$ python 4 4 submit web form.py 
Response to GET request: <?xml version-z"1.0" encoding-"UTF-8"?» 
«hash» 
«error»This method requires a POST.«/error» 
«request»/account/create«/request» 
«/hash» 


Headers from a POST request response: ('status': '200 OK', 'content- 
length': '21064', 'set-cookie': ' twitter sess-BAh7CD-- 
d2865d40d1365eeb2175559dc5e6b99f£64ea39ff; domain-.twitter.com; 
path-/; HttpOnly', 'expires': 'Tue, 31 Mar 1981 05:00:00 GMT', 
'vary': 'Accept-Encoding', 'last-modified': 'Sun, 05 May 2013 
15:59:27 GMT', 'pragma': 'no-cache', 'date': 'Sun, 05 May 2013 
15:59:27 GMT', 'x-xss-protection': '1; mode-block', 'x-transaction': 
'a4b425eda23b5312', 'content-encoding': 'gzip', 'strict-transport- 
security': 'max-age-631138519', 'server': 'tfe', 'x-mid': 
'f7cde9a3£3d111310427116adc90bf3e8c95e868', 'x-runtime': '0.09969', 
'etag': '"7af6f92a7f£7b4d37a6454caa6094071d"', 'cache-control': 'no- 
cache, no-store, must-revalidate, pre-check-z0, post-check-z0', 'x- 
frame-options': 'SAMEORIGIN', 'content-type': 'text/html; 
charset-zutf-8') 
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4.5.3 原理 分 析 
这 个 攻略 使 用 了 第 三 方 模块 requests。 这 个 模块 提供 了 便利 的 包装 方法 get () 和 post () ， 
能 正确 编码 URL 中 的 数据 并 提交 表单 。 


在 这 个 攻略 中 ， 我 们 创建 了 一 个 数据 字典 ,包含 用 户 名 、 密 码 和 电子 邮件 地 址 ， 用 于 注册 
Twitter 账 户 。 我 们 首先 使 用 GET 方 法 提交 表单 , 但 Twitter 返 回 一 个 错误 , 说 页 面 只 支持 PosT 方 法 。 
然后 我 们 使 用 PosT 方 法 提交 数据 ， 结 果 Twitter 接 受 了 注册 请 求 ， 这 一 点 可 以 由 首部 数据 证 实 。 








4.6 ”通过 代理 服务 器 发 送 Web 请 求 


你 可 能 想 通 过 代理 访问 网 页 。 如 果 你 为 浏览 器 配置 了 一 个 代理 服务 器 ， 而 且 代理 可 用 ,就 可 
以 运行 这 个 攻略 。 和 否则 ， 可 以 使 用 网 上 其 他 可 用 的 公共 代理 服务 器 。 








4.6.1 准备 工作 


你 需要 一 个 可 使 用 的 代理 服务 器 。 你 可 以 使 用 谷歌 或 其 他 搜索 引擎 找到 一 个 免费 的 代理 服务 
器 。 这 里 ， 为 了 演示 ， 我 们 使 用 的 代理 服务 器 是 165.24.10.8。 





4.6.2 ”实战 演练 
我 们 来 通过 一 个 公共 代理 服务 器 发 送 HTTP 请 求 。 
代码 清单 4-5 说 明了 如 何 通 过 代理 服务 器 发 送 Web 请 求 ， 如 下 所 示 : 














!/usr/bin/env python 

Python Network Programming Cookbook -- Chapter - 4 

This program is optimized for Python 2.7. 

It may run on any other version with/without modifications. 


import urllib 











URL - 'https://www.github.com' 
PROXY ADDRESS = "165.24.10.8:8080" # By Googling free proxy server 
IË name == ' main 

resp = urllib.urlopen(URL, proxies = ("http" : PROXY ADDRESS) 





print "Proxy server returns response headers: $s " $resp.headers 
LAM Hj 人 A 
运行 这 个 脚本 后 ， 会 看 到 如 下 输出 : 
$ python 4 5 proxy web request.py 


Proxy server returns response headers: Server: GitHub.com 
Date: Sun, 05 May 2013 16:16:04 GMT 
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Content-Type: text/htm1; charset-utf-8 

Connection: close 

Status: 200 OK 

Cache-Control: private, max-age-0, must-revalidate 
Strict-Transport-Security: max-age-2592000 

X-Frame-Options: deny 

Set-Cookie: logged in-no; domain-.github.com; path-/; expires=Thu, 05- 
May-2033 16:16:04 GMT; HttpOnly 

Set-Cookie: gh sess-BAh7...; path-/; expires=Sun, 01-Jan-2023 00:00:00 
GMT; secure; HttpOnly 

X-Runtime: 8 

ETag: "66fcc37865eb05c19b2d15fbb44cd7a9" 

Content-Length: 10643 

Vary: Accept-Encoding 


4.6.3 ”原理 分 析 


这 个 攻略 很 简短 ， 使 用 在 谷歌 中 找到 的 一 个 公共 代理 服务 器 访问 社会 化 代码 分 享 网 站 
www.github.com。 代理 服务 器 的 地 址 传 给 ur1l1ib 模 块 的 urlopen () 方 法 。 我 们 把 响应 的 HTTP 首 
部 打印 出 来 ， 以 证 明代 理 设置 起 到 了 作用 。 




















4.7 ”使 用 HEAD 请 求 检 查 网 页 是 否 存在 


你 可 能 想 在 不 下 载 HTML 内 容 的 前 提 下 检查 网 页 是 否 存 在 。 此 时 我 们 要 使 用 浏览 带 客 户 端 发 
送 get HEAD 请 求 。 根 据 维基 百科 中 的 定义 ，HEAD 请 求 和 GET 请 求 的 响应 一 样 ， 只 是 前 者 没有 响 
应 主体 。 使 用 HEAD 请 求 可 以 获取 响应 首部 中 的 元 信息 ， 而 不 用 传输 整个 网 页 的 内 容 。 















































4.7.1 实战 演练 


我 们 要 向 www.python.org 发 送 一 个 HEAD 请 求 。 这 个 请 求 不 会 下 载 首页 的 内 容 , 而 是 检查 服务 
器 是 否 返 回 正确 的 响应 ， 例 如 oOKk、FOUND 和 MOVED PERMANENTLY 等 。 


代码 清单 4-6 说 明了 如 何 使 用 HEAD 请 求 检 查 网 页 ， 如 下 所 示 : 

















#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 4 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import argparse 
import httplib 
import urlparse 
import re 
import urllib 
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DEFAULT URL = 'http://www.python.org' 
HTTP GOOD CODES - [httplib.OK, httplib.FOUND, httplib.MOVED PERMANENTLY] 

















def get server status code(url): 





Download just the header of a URL and 
return the server's status code. 
host, path = urlparse.urlparse(ur1l)[1:3] 
try: 

conn - httplib.HTTPConnection (host) 

conn.request('HEAD', path) 

return conn.getresponse().status 
except StandardError: 

return None 




















XE name mmo main '; 
parser = argparse.ArgumentParser (description-'Example HEAD Request') 
parser.add argument('--url', action-"store", dest-"url", default-DEFAULT URL) 


given args - parser.parse args() 

url - given args.url 

if get server status code(url) in HTTP GOOD CODES: 
print "Server: $s status is OK: " $url 

else: 
print "Server: $s status is NOT OK!" $url 


运行 这 个 脚本 后 ,会 根据 HEAD 请 求 的 响应 显示 成 功 消息 或 错误 消息 ， 如 下 所 示 : 

















$ python 4 6 checking webpage with HEAD request .py 
Server: http://www.python.org status is OK! 





$ python 4 6 checking webpage with HEAD request.py --url-http://www.zytho.org 
Server: http://www.zytho.org status is NOT OK! 





4.7.2 ”原理 分 析 


我 们 使 用 httplip 模 块 中 的 HTTPConnection() 方 法 向 服务 器 发 起 HEAD 请 求 。 如 果 需 要 ， 
可 以 指定 要 访问 的 路 径 。 在 这 个 攻略 中 , HTTPConnection() 方 法 检查 的 是 www.python.org 首 页 。 
如 果 URL 不 正确 ， 在 返回 码 的 可 接受 列表 中 就 无 法 找到 返回 的 啊 应 。 











4.8 把 客户 端 伪装 成 Mozilla Firefox 
在 Python 代码 中 ， 你 可 能 想 假 装 成 在 使 用 Mozilla Firefox 访 问 Web 服 务 器 。 


4.8.1 实战 演练 
你 可 以 在 HTTP 请 求 首 部 中 发 送 自己 定制 的 用 户 代理 值 。 
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代码 清单 4-7 说 明了 如 何 把 客户 端 伪装 成 Mozilla Firefox 浏 览 器 ， 如 下 所 示 : 


d!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 4 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import urllib2 


BROWSER - 'Mozilla/5.0 (Windows NT 5.1; rv:20.0) Gecko/20100101 Fi 
URL = 'http://www.python.org' 





def spoof firefox(): 
opener - urllib2.build opener() 
opener.addheaders - [('User-agent', BROWSER)] 
result - opener.open(URL) 
print "Response headers:" 
for header in result.headers.headers: 
print "\t",header 





Af name == '_ main_ ': 
spoof_firefox() 


运行 这 个 脚本 后 ， 会 看 到 如 下 输出 : 


$ python 4 7 spoof mozilla firefox in client code.py 
Response headers: 
Date: Sun, 05 May 2013 16:56:36 GMT 
Server: Apache/2.2.16 (Debian) 
Last-Modified: Sun, 05 May 2013 00:51:40 GMT 
ETag: "105800d-5280-4dbedfcb07f00" 
Accept-Ranges: bytes 
Content-Length: 21120 
Vary: Accept-Encoding 
Connection: close 
Content-Type: text/html 











4.8.2 ”原理 分 析 








refox/20.0' 











我 们 使 用 ur11ipb2 模 块 中 的 build_opener () 方 法 创建 自 定义 浏览 器 ,把 


用 户 代理 字符 串 设 


JjMozilla/5.0 (Windows NT 5.1; rv:20.0) Gecko/20100101 Firefox/20.0。 


4.9 使 用 HTTP 压缩 节省 Web 请 求 消耗 的 带宽 


你 可 能 想 让 Web 服 务 需 在 下 载 网 页 时 有 更 好 的 性 能 表现 。 压 缩 HTTP 数 据 
容 的 速度 。 
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4.9.1 实战 演练 
我 们 来 编写 一 个 Web 服 务 器 ， 把 内 容 压 缩 成 gzip 格 式 后 再 提供 给 访问 者 。 
代码 清单 4-8 说 明了 如 何 压 缩 HITP 数 据 ， 如 下 所 示 : 


d$!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 4 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import argparse 

import string 

import os 

import sys 

import gzip 

import cStringIO 

from BaseHTTPServer import BaseHTTPRequestHandler, HTTPServer 











DEFAULT HOST - '127.0.0.1' 
DEFAULT PORT - 8800 
HTML CONTENT = """chtml»«body»«hl»Compressed Hello World!«/hl»«/body»«/html»""" 


class RequestHandler(BaseHTTPRequestHandler): 
""" Custom request handler""" 


def do GET(self): 
""" Handler for the GET requests """ 
self.send response (200) 
self.send header('Content-type','text/html') 
self.send header('Content-Encoding','gzip') 
zbuf - self.compress buffer(HTML CONTENT) 
sys.stdout.write("Content-Encoding: gzip\r\n") 
self.send header('Content-Length',len(zbuf)) 
self.end headers() 











# Send the message to browser 

zbuf - self.compress buffer(HTML CONTENT) 
sys.stdout.write("Content-Encoding: gzip\r\n") 
sys.stdout.write("Content-Length: %d\r\n" $ (len(zbuf))) 
sys.stdout.write("NrMn") 

self.wfile.write(zbuf) 

return 








def compress buffer(self, buf): 
zbuf - cStringIO.StringIO() 
zfile = gzip.GzipFile(mode = 'wb', fileobj = zbuf, compresslevel = 6) 
zfile.write (buf) 
zfile.close() 
return zbuf.getvalue() 


if name == ' main ': 
parser - argparse.ArgumentParser(description-'Simple HTTP Server Example') 








图 灵 社 区 会 员 木头 lbj(flt0426@163.com) 专 享 尊重 版 权 


82 第 4 章 HTTP 协议 网 络 编程 





parser.add argument('--port', action-"store", dest-"port", type-int, 
default-DEFAULT PORT) 

given args - parser.parse args() 

port - given args.port 

server address = (DEFAULT HOST, port) 

Server - HTTPServer(server address, RequestHandler) 

server.serve forever() 








运行 这 个 脚本 后 ， 在 浏览 器 中 访问 http://localhost:8800 ， 会 看 到 浏览 器 中 显示 了 文本 


"Compressed Hello World!" ( HTTP 压 缩 后 得 到 的 结果 )， 如 下 所 示 : 


$ python 4 8 http compression.py 

localhost - - [22/Feb/2014 12:01:26] "GET / HTTP/1.1" 200 - 
Content-Encoding: gzip 

Content-Encoding: gzip 

Content-Length: 71 

localhost - - [22/Feb/2014 12:01:26] "GET /favicon.ico HTTP/1.1" 200 - 
Content-Encoding: gzip 

Content-Encoding: gzip 

Content-Length: 71 


Puff i URS T Web] 45- ve f] Ht Hs A AIE: 


File Edit View Search Terminal Help 

faruqQubuntu:chapter4S 

faruqgubuntu:chapter4S python 4 8 http compression.py 
localhost - - [22/Feb/2014 12:01:26] "GET / HTTP/1.1" 200 - 
Content-Encoding: gzip 

Content-Encoding: gzip 

Content-Length: 71 


localhost - - [22/Feb/2014 12:01:26] "GET /favicon.ico HTTP/1.1" 200 - 
Content-Encoding: gzip 

Content-Encoding: gzip 

Content-Length: 71 


0 


9 localhost:8800 - Google Chrome 


localhost:8800 





€ © localhost wa 


Compressed Hello World! 





4.9.2 ”原理 分 析 


我 们 实例 化 BaseHTTPServer 模 块 中 的 HTTPServer 类 ,创建 了 一 个 Web 服 务 器 。 然 后 为 这 
个 服务 器 实例 定义 了 一 个 请 求 处 理 方法 ， 它 使 用 compress_buffer() 方 法 压缩 发 给 客户 端的 每 














个 响应 ， 再 把 事先 定义 好 的 HTML 内 容 发 送 给 客户 端 。 


4.10 编写 一 个 支持 断 点 续 传 功能 的 HTTP 容错 客户 端 
你 可 能 想 编写 一 个 容错 的 客户 端 ， 它 在 因 某 种 原因 初次 下 载 失 败 后 能 继续 下 载 文件 。 
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4.10.1 实战 演练 


让 我 们 从 www.python.org 上 下 载 Python 2.781548, fiifizesume download () PAZ P XC 
件 在 中 止 后 能 继续 下 载 尚 未 下 载 的 内 容 。 


代码 清单 4-9 说 明了 如 何 继续 下 载 ， 如 下 所 示 : 


#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 4 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import urllib 
import os 


T URL = 'http://python.org/ftp/python/2.7.4/' 
T FILE - 'Python-2.7.4.tgz' 


TARG: 
TARG: 


a pn 














class CustomURLOpener (urllib.FancyURLopener): 
"""Override FancyURLopener to skip error 206 (when a 
partial file is being sent) 





def http error 206(self, url, fp, errcode, errmsg, headers, data-None): 
pass 


def resume download(): 

file exists - False 

CustomURLClass - CustomURLOpener() 

if os.path.exists(TARGET FILE): 
out file = open(TARGET FILE, "ab") 
file exists - os.path.getsize(TARGET FILE) 
#If the file exists, then only download the unfinished part 
CustomURLClass.addheader("range","bytes-$s-" % (file exists)) 

else: 
out file = open(TARGET FILE, "wb") 















































web page = CustomURLClass.open(TARGET URL + TARGET FILE 





#Check if last download was OK 

if int(web page.headers['Content-Length']) -- file exists: 
loop = 0 
print "File already downloaded!" 


byte count = 0 
while True: 
data - web page.read(8192) 
if not data: 
break 
out file.write(data) 
byte count = byte count + len(data) 


web page.close() 
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out file.close() 


for k,v in web page.headers.items(): 
print k, "z',v 
print "File copied", byte count, "bytes from", web page.url 


if name -- ' main 
resume download() 


这 个 脚本 后 ， 会 看 到 如 下 输出 结果 : 











$ python 4 9 http fail over client.py 
content-length - 14489063 

content-encoding = x-gzip 

accept-ranges - bytes 

connection = close 

server - Apache/2.2.16 (Debian) 

last-modified - Sat, 06 Apr 2013 14:16:10 GMT 
content-range - bytes 0-14489062/14489063 
etag = "1748016-dd15e7-4d9b1d8685e80" 

date - Tue, 07 May 2013 12:51:31 GMT 
content-type - application/x-tar 

File copied 14489063 bytes from http://python.org/ftp/python/2.7.4/Python-2.7.4.tgz 


4.10.2 ”原理 分 析 


在 这 个 攻略 中 ， 我 们 定义 了 一 个 URL 打 开 器 类 ， 继 承 自 urz11ib 模 块 中 的 FancyURLopener 
X, 不 过 重 定义 了 用 于 分 段 下 载 内 容 的 http_error_206 () 方 法 。resume_dqownload() K% 
先 检查 目标 文件 是 否 存 在 ， 如 果 不 存 在 就 尝试 使 用 自 定 义 的 URL 打 开 器 类 下 载 。 








4.11 使 用 Python 和 OpenSSL 编写 一 个 简单 的 HTTPS 服务 


你 需要 使 用 Python 编写 一 个 安全 的 Web 服 务 器 ， 而 且 已 经 有 了 SSL 密 钥 和 证 书 文 件 。 




















4.11.1 准备 工作 


你 需要 安装 第 三 方 Python 模 块 pyopenssL 。 这 个 模块 可 从 PyPI 上 下 载 ， 地 址 为 
https://pypi.python.org/pypi/pyOpenSSL 。 在 Windows 和 Linux 主 机 上 都 要 安装 一 些 其 他 的 包 ， 在 
http://pythonhosted.org/pyOpenSSL/ 中 有 说 明 。 


4.11.2 ”实战 演练 


把 证 书 文件 放 在 当前 工作 目录 后 ,我 们 就 可 以 创建 一 个 Web 服 务 器 ， 利 用 这 个 证 书 向 客户 端 
发 送 加 密 后 的 内 容 。 
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代码 清单 4-10 是 安全 HTTP 服 务 器 的 代码 ， 如 下 所 示 : 


#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 4 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 
# Requires pyOpenSSL and SSL packages installed 


import socket, os 

from SocketServer import BaseServer 

from BaseHTTPServer import HTTPServer 

from SimpleHTTPServer import SimpleHTTPRequestHandler 
from OpenSSL import SSL 





class SecureHTTPServer (HTTPServer): 
def | init (self, server address, HandlerClass): 
BaseServer. init (self, server address, HandlerClass) 
ctx - SSL.Context(SSL.SSLv23 METHOD) 
fpem - 'server.pem' 4 location of the server private key and the server 








certificate 
ctx.use privatekey file (fpem) 
ctx.use certificate file(fpem) 
self.socket - SSL.Connection(ctx, socket.socket(self.address family, 
self.socket type)) 
self.server bind() 
self.server activate() 


class SecureHTTPRequestHandler (SimpleHTTPRequestHandler): 
def setup(self): 
self.connection - self.request 
self.rfile - socket. fileobject(self.request, "rb", self.rbufsize) 
self.wfile - socket. fileobject(self.request, "wb", self.wbufsize) 


def run server(HandlerClass - SecureHTTPRequestHandler, 
ServerClass - SecureHTTPServer): 

server address = ('', 4443) # port needs to be accessible by user 

Server - ServerClass(server address, HandlerClass) 

running address - server.socket.getsockname() 

print "Serving HTTPS Server on $s:$s ..." £$(running address[0], 
running address[1]) 

server.serve forever() 


XE name == '_ main ': 





run server() 
运行 这 个 脚本 后 会 看 到 如 下 输出 : 


$ python 4 10 https server.py 
Serving HTTPS Server on 0.0.0.0:4443 ... 
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4.11.3 ”原理 分 析 


如 果 你 仔细 观察 前 面 编写 Web 服 务 絮 的 攻略 会 发 现 ， 它 和 这 个 攻略 没有 太 多 的 区 别 ， 基 本 流 
程 都 是 一 样 的 。 最 重要 的 一 个 不 同 点 是 ， 这 个 脚本 调用 了 ssL.context () 方 法 ， 并 将 其 参数 设 
为 SSL.ssLv23_METHOD。 我 们 使 用 Python OpenSSL 第 三 方 模块 提供 的 connection 类 创建 了 一 
个 SSL 套 接 字 。connection 类 构造 方法 的 参数 是 前 面 创建 的 上 下 文 对 象 ， 以 及 地 址 族 和 套 接 字 


类 型 。 


服务 器 的 证 书 文件 保存 在 当前 目录 中 。 证 书 文 件 提供 给 上 下 文 对 象 使 用 。 最 后 ， 调 用 
server_activate() 方 法 激活 服务 妖 。 
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本 章 攻略 : 


a 列 出 远程 FTP 服 务 右 中 的 文件 

O 把 本 地 文件 上 传 到 远程 FTP 服 务 器 中 

口 把 当前 工作 目录 中 的 内 容 压 缩 成 ZIP 文 件 后 通过 电子 邮件 发 送 
O 通过 POP3 协 议 下 载 谷歌 电子 邮件 

口 通过 IMAP 协 议 查 收 远程 服务 器 中 的 电子 邮件 

口 通过 Gmail 的 SMTP 服 务 器 发 送 带 有 附件 的 电子 邮件 

O 使 用 CGI 为 基于 Python 的 Web 服 务 器 编写 一 个 留言 板 















































5.1 简介 
本 章 通 过 Python 攻略 介绍 FTP、 电 子 邮 件 和 CGI 通信 协议 。Python 这 门 语言 很 高 效 也 很 友好 。 
使 用 Python 可 以 很 方便 地 实现 简单 的 FTP 操 作 ， 例 如 下 载 和 上 传 文件 。 


本 章 有 些 有 趣 的 攻略 ， 例 如 在 Python 脚本 中 管理 谷歌 电子 邮件 (也 叫 Gmail )。 使 用 这 些 攻略 
可 以 通过 IMAP、POP3 和 SMTP 协 议 查收 、 下 载 和 发 送 电 子 邮 件 。 还 有 一 个 攻略 编写 了 一 个 支持 
CGI 功能 的 Web 服 务 器 ， 演 示 了 基本 的 CGI 操作 ， 例 如 编写 Web 应 用 中 的 游客 留言 表单 。 


5.2 JE FTP 远程 服务 器 中 的 文件 


你 可 能 想 列 出 Linux 内 核 FTP 网 站 ( ftp.kernel.org ) 中 的 文件 。 这 个 攻略 也 可 用 在 其 他 FTP 网 
站 上 o 


5.2.1 准备 工作 
如 果 处 理 需 要 账户 的 FTP 网 站 , 你 需要 提供 用 户 名 和 密码 。 但 在 这 个 攻略 中 不 需要 Linux 内 核 
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FTP 网 站 的 用 户 名 和 和 密码， 因为 可 以 匿名 登录 。 





5.2.2 ”实战 演练 


要 从 选中 的 FTP 网 站 中 获取 文件 ， 可 以 使 用 ftplib 库 。 这 个 库 的 详细 文档 可 在 http:/docs. 
python.org/2/library/ftplib.html 中 查看 。 


我 们 来 看 一 下 如 何 使 用 ftplib 获 取 文 件 。 
代码 清单 5-1 是 一 次 简单 的 FTP 连 接 测试 ， 如 下 所 示 : 











#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 5 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


FTP SERVER URL = 'ftp.kernel.org' 











import ftplib 


def test ftp connection(path, username, email): 
Open ftp connection 
ftp = ftplib.FTP(path, username, email) 


List the files in the /pub directory 
Ftp.cwd("/pub") 

print "File list at $s:" $£path 

Files - ftp.dir() 

print files 





Ftp.quit() 


if name == * main ': 
test ftp connection(path-FTP SERVER URL, username-'anonymous', 
email-'nobodyGnourl.com') 


这 个 攻略 会 列 出 FTP 路 径 ( ftp.kernel.org/pub ) 中 的 文件 和 文件 夹 。 运 行 这 个 脚本 后 ,会 看 到 
如 下 输出 : 














$ python 5 1 list files on ftp server.py 
File list at ftp.kernel.org: 





drwxrwxr-x 6 ftp ftp 4096 Dec 01 2011 dist 
drwxr-xr-x 13 ftp ftp 4096 Nov 16 2011 linux 
drwxrwxr-x 3 ftp ftp 4096 Sep 23 2008 media 
drwxr-xr-x 17 ftp ftp 4096 Jun 06 2012 scm 
drwxrwxr-x 2 ftp ftp 4096 Dec 01 2011 site 
drwxr-xr-x 13 ftp ftp 4096 Nov 27 2011 software 
drwxr-xr-x 3 ftp ftp 4096 Apr 30 2008 tools 
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5.2.3 原理 分 析 


这 个 攻略 使 用 ftplib 创 建 了 一 个 连接 到 ftp.kernel.org/pub 上 的 FTP 客 户 端 会 话 。 
test_ftp_connection () 函数 的 参数 是 连接 FTP 服 务 器 所 需 的 路 径 、 用 户 名 和 电子 邮件 地 址 。 


FTP 客 户 端 会 话 使 用 ftplib 库 中 的 FTP() 函数 创建 ， 其 参数 就 是 传人 test_ftp_ 
connection () 的 参数 。FTP () 函数 返回 一 Kis dicum 用 于 运行 常用 的 FTP 命 令 ， 例 如 切换 
工作 目录 的 命令 cwd ()。dir() 方 法 返回 目录 的 文件 夹 结 构 。 


处 理 完成 后 ， 最 后 调用 ftp .quit() 终 止 FTP 会 话 。 









































5.3 ”把 本 地 文件 上 传 到 远程 FTP 服务 器 中 
你 可 能 想 把 文件 上 传 到 FTP 服 务 器 中 。 


5.3.1 准备 工作 
让 我 们 来 搭建 一 个 本 地 FTP 服 务 器 。 在 Unix/Linux 中 ， 可 以 使 用 下 述 命令 安装 wu-ftpd 包 : 





$ sudo apt-get install wu-ftpd 





在 运行 Windows 的 设备 中 , 可 以 安装 FileZillaFTP 服 务 器 ,下 载 地 址 为 https://filezilla-project.org/ 
download.php?type=server o 


你 应 该 按照 FTP 服 务 器 包 的 说 明 来 创建 一 个 FTP 账 户 。 


你 可 能 还 想 上 传 一 个 文件 到 FTP 服 务 器 中 。 你 可 以 指定 服务 器 地 址 、 登 录 凭 据 和 文件 名 作为 
脚本 的 输入 参数 。 你 应 该 在 本 地 新 建 一 个 文件 ， 命 名 为 readme.txt， 在 里 面 随便 写 些 文本 。 


5.3.2 ”实战 演练 


我 们 使 用 下 面 的 脚本 来 搭建 一 个 FTP 本 地 服务 器 。 在 Unix/Linux 中 ， 可 以 安装 wu-ftpd 包 。 然 
后 ,可 以 把 文件 上 传 到 已 登录 用 户 的 家 目录 中 。 你 可 以 指定 服务 器 地 址 、 登 录 凭 据 和 文件 名 作为 
脚本 的 输入 参数 。 


代码 清单 5-2 是 FTP 上 传 文件 示例 ， 如 下 所 示 : 




















#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 5 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 
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import os 
import argparse 
import ftplib 
import getpass 


LOCAL FTP SERVER = 'localhost' 
LOCAL FILE - 'readme.txt' 

















def ftp upload(ftp server, username, password, file name): 
print "Connecting to FTP server: $s" $ftp server 

ftp = ftplib.FTP(ftp server) 

print "Login to FTP server: user=%s" $username 
Ftp.login(username, password) 

ext - os.path.splitext(file name)[1] 





if ext in (",txbE", ",btm", T. hem"): 
ftp.storlines("STOR " + file name, open(file name)) 
else: 
ftp.storbinary("STOR " + file name, open(file name, "rb"), 1024) 


print "Uploaded file: $s" £file name 





























Af name == ' main ': 

parser - argparse.ArgumentParser(description-'FTP Server Upload Example') 

parser.add argument('--ftp-server', action-"store", dest-"ftp server", 
default-LOCAL FTP SERVER) 

parser.add argument('--file-name', action-"store", dest-"file name", 
default-LOCAL FILE) 

parser.add argument('--username', action-"store", dest-"username", 


default-getpass.getuser()) 

given args - parser.parse args() 

ftp server, file name, username - given args.ftp server, given args.file name, 
given args.username 

password - getpass.getpass(prompt-"Enter you FTP password: ") 

ftp upload(ftp server, username, password, file name) 


如 果 拱 建 了 本 地 FTP 服 务 器 ， 运 行 下 面 这 个 脚本 后 会 登 和 人 FTP 服务 器 并 上 传 文件 。 如 果 命 令 
行 中 没有 指定 默认 文件 名 ,这 个 脚本 将 上 传 readme.txt 文 件 。 


$ python 5 2 upload file to ftp server.py 
Enter your FTP password: 

Connecting to FTP server: localhost 

Login to FTP server: user-faruq 

Uploaded file: readme.txt 

















$ cat /home/farug/readme.txt 
This file describes what to do with the .bz2 files you see elsewhere 
on this site (ftp.kernel.org). 


5.3.3 ”原理 分 析 


在 这 个 攻略 中 , 我 们 假设 本 地 FTP 服 务 器 正在 运行 中 。 除 此 之 外 还 可 以 连接 远程 FTP 服 务 器 。 
在 ftp_upload() 方 法 中 ,使 用 Python 中 的 ftplib 模 块 提供 的 FTP () 函数 创建 一 个 FTP 连 接 对 象 。 
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然后 调用 login() 方 法 ,登录 服务 器。 


登录 成 功 后 , 在 ftp 对 象 上 调用 方法 storlines () 或 storbinary () 执 行 STOR 命 令 。 前 一 个 
方法 用 于 发 送 ASCI 文 本 文件 ， 例 如 HTML 或 纯 文 本 文件 。 后 一 个 方法 用 于 发 送 二 进 制 数据 ， 例 
如 压缩 文件 。 


这 些 FTP 方 法 最 好 放 在 try-catch 错 误 处 理 块 中 ,为 了 行文 简洁 ， 这 里 并 没有 这 人 么 做 。 





5.4 把 当前 工作 目录 中 的 内 容 压缩 成 ZIP 文件 后 通过 电子 邮件 发 送 


如 果 能 把 当前 工作 目录 中 的 内 容 压 缩 成 ZIP 文 件 发 送 给 别人 , 该 多 么 有 趣 啊 。 使 用 这 个 攻略 ， 
你 可 以 快速 和 朋友 共享 文件 。 





5.4.4 准备 工作 


如 果 你 的 设备 中 没有 安装 任何 邮件 服务 器 ,你 需要 安装 一 个 本 地 邮件 服务 器 ,例如 postfix。 
在 Debian/Ubuntu 系 统 中 可 以 使 用 apt-get 的 默认 设置 安装 ， 如 下 面 的 命令 所 示 : 


$ sudo apt-get install postfix 


5.4.2 ”实战 演练 


我 们 首先 要 压缩 当前 目录 , 然后 创建 一 封 电子 邮件 。 电子 邮件 可 通过 外 部 的 SMTP 主 机 发 送 ， 
也 可 使 用 本 地 电子 邮件 服务 器 发 送 。 和 其 他 的 攻略 类 似 , 发 件 人 和 收 件 人 信息 都 从 命令 行 参数 中 
获取 。 


代码 清单 5-3 展 示 了 如 何 把 文件 夹 压缩 成 ZIP 文 件 再 通过 电子 邮件 发 送 ， 如 下 所 示 : 


























#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 5 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import os 

import argparse 

import smtplib 

import zipfile 

import tempfile 

from email import encoders 

from email.mime.base import MIMEBase 

from email.mime.multipart import MIMEMultipart 








def email dir zipped(sender, recipient): 
zf - tempfile.TemporaryFile(prefix-'mail', suffix-'.zip') 
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LE 


zip = zipfile.ZipFile(zf, 'w') 

print "Zipping current dir: $s" %os.getcwd() 

for file name in os.listdir(os.getcwd()): 
zip.write(file name) 

zip.close() 

zf.seek(0) 


# Create the message 

print "Creating email message..." 

email msg - MIMEMultipart() 

email msg['Subject'] = 'File from path $s' 

email msg['To'] = ', '.join(recipient) 

email msg['From'] - sender 

email msg.preamble = 'Testing email from Python.Nn' 

msg - MIMEBase('application', 'zip') 

msg.set payload(zf.read()) 

encoders.encode base64 (msg) 

msg.add header('Content-Disposition', 'attachment', 
filename-os.getcwd()[-1] + '.zip') 

email msg.attach (msg) 

email msg.as string() 





$os.getcwd() 





email msg - 


# send the message 
print "Sending email message..." 
try: 
smtp = smtplib.SMTP('localhost') 
smtp.set_debuglevel (1) 
smtp.sendmail (sender, 
except Exception, e: 
print ™ $s" 
finally: 
smtp.close() 


recipient, email msg) 








Error: %str (e) 


name == '_ main _': 











Email Example') 
dest-"sender", 





parser = argparse.ArgumentParser (description-' 
parser.add argument('--sender', action-"store", 


default-'youGyou.com') 


parser.add argument('--recipient', action-"store", dest-"recipient") 


given args - parser.parse args() 


email dir zipped(given args.sender, given args.recipient) 


运行 这 个 脚本 后 看 到 的 输出 如 下 所 示 。 因 为 开启 了 电子 邮件 调试 模式 , 所 以 还 显示 了 一 些 额 





外 信息 。 


$ python 5 3 email current dir zipped.py --recipient=faruq@localhost 





Zipping current dir: 


/home/farug/Dropbox/PacktPub/pynet-cookbook/ 


pynetcookbook code/chapterb5 
Creating email message... 


Sending email message... 


send: 'ehlo [127.0.0.1]\r\n' 

reply: '250-debian6.debian2013.comWMrMAn' 
reply: '250-PIPELININGNr*An' 

reply: '250-SIZE 10240000 Xr'in' 
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reply: '250-VRFY\r\n' 

reply: '250-ETRN\r\n' 

reply: '250-STARTTLS\r\n' 

reply: '250-ENHANCEDSTATUSCODES\r\n' 

reply: '250-8BITMIME\r\n' 

reply: '250 DSN\r\n' 

reply: retcode (250); Msg: debian6.debian2013.com 
PIPELINING 

SIZE 10240000 

VRFY 

ETRN 

STARTTLS 

ENHANCEDSTATUSCODES 

8BITMIME 

DSN 

send: 'mail FROM: <you@you.com> size=9141\r\n' 
reply: '250 2.1.0 Ok\r\n' 

reply: retcode (250); Msg: 2.1.0 Ok 

send: 'rcpt TO:<faruq@localhost>\r\n' 

reply: '250 2.1.5 Ok\r\n' 

reply: retcode (250); Msg: 2.1.5 Ok 

send: 'data\r\n' 

reply: '354 End data with <CR><LF>.<CR><LF>\r\n' 
reply: retcode (354); Msg: End data with «CR»«LF».«CR»«LF» 
data: (354, 'End data with «CR»«LF».«CR»«LF»') 
send: 'Content-Type: multipart/mixed; 
boundary="===============0388489101==... [TRUNCATED] 
reply: '250 2.0.0 Ok: queued as 42D2F34A996\r\n' 
reply: retcode (250); Msg: 2.0.0 Ok: queued as 42D2F34A996 
data: (250, '2.0.0 Ok: queued as 42D2F34A996') 





5.4.9 ”原理 分 析 


为 了 通过 电子 邮件 发 送 压缩 后 的 文件 夹 ,我 们 用 到 了 了 Python 中 的 zipfile、smtplib 和 和 email 
三 个 模块 。 这 在 email_dir_zipped() 方 法 中 实现 。 这 个 方法 接收 两 个 参数 : 发 件 人 和 收 件 人 
的 电子 邮件 地 址 。 


为 了 压缩 文件 ， 我 们 使 用 tempfile 模 块 中 的 TemporaryFile 类 新 建 了 一 个 临时 文件 ， 把 这 
个 文件 的 前 级 设 为 nail， 后 级 设 为 .zip。 然 后 把 临时 文件 作为 参数 传 给 zipFile 类 的 构造 方法 ， 
初始 化 一 个 ZIP 压 缩 文 件 对 象 。 接 着 在 这 个 压缩 对 象 上 调用 write() 方 法 ,添加 当前 目录 中 的 文件 。 


为 了 发 送 电 子 邮 件 ， 我 们 使 用 email . mime. multipart 模 块 中 的 MIMEmultipart ( ) 类 创建 
了 一 个 MIME 为 multipart 的 邮件 。 和 普通 的 电子 邮件 一 样 ， 主 题 、 收 件 人 和 发 件 人 信息 都 在 电 
子 邮 件 的 首部 中 设 定 。 


电子 邮件 的 附件 使 用 MIMEBase ( ) 方 法 创建 。 我 们 首先 设置 application/zip 首 部 ， 然 后 
在 附件 对 象 上 调用 set_payload() 方 法 。 为 了 正确 地 编码 消息 ， 调 用 了 encoders 模 块 中 的 
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encode_base64() 方 法 。adg_header () 方 法 能 帮助 我 们 设 定 附件 的 首部 。 至 此 ， 附 件 已 经 准 
备 好 ， 可 以 添加 到 邮件 中 了 ， 因 此 我 们 调用 了 attach () 方 法 。 


若 想 发 送 电 子 邮 件 ， 要 调用 smtplib 模 块 中 的 SMTP 类 创建 一 个 实例 。 在 这 个 实例 上 调用 
sendmail () 方 法 后 ， 会 利用 操作 系统 中 的 程序 正确 地 把 电子 邮件 发 送出 去 。 发 送 的 细节 被 隐藏 
T, 不过， 如果 你 想 看 到 详细 的 过 程 ， 可 以 打开 调试 模式 ， 如 前 所 示 。 























544 ”参考 资源 











a 本 节 用 到 的 Python 库 详情 请 参阅 文档 ， 地 址 为 http://docs.python.org/2/library/smtplib.html。 


5.5 通过 POP3 协议 下 载 谷 歌 电 子 邮 件 
你 可 能 想 通 过 POP3 协 议 下 载 谷歌 〈 或 者 其 他 任何 一 个 电子 邮件 服务 提供 商 ) 账户 中 的 





























Œ 
mul 


5.5.1 准备 工作 
要 运行 这 个 攻略 ， 你 需要 有 谷歌 或 其 他 服务 提供 商 的 电子 邮件 账户 。 




















5.5.2 ”实战 演练 


我 们 要 尝试 下 载 用 户 谷 歌 电 子 邮 件 账 户 中 的 第 一 封 邮 件 。 用 户 名 在 命令 行 中 输入 , 但 为 了 保 
密 ， 密 码 不 能 在 命令 行 中 指定 ， 而 是 在 运行 脚本 时 输入 ， 而 且 不 能 显示 出 来 。 


代码 清单 5-4 展 示 了 如 何 通过 POP3 协 议 下 载 谷歌 账户 中 的 电子 邮件 ， 如 下 所 示 : 


d!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 5 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 















































import argparse 
import getpass 
import poplib 





GOOGLE POP3 SERVER = 'pop.googlemail.com' 














def download email (username): 
mailbox = poplib.POP3 SSL(GOOGLE POP3 SERVER, '995"') 
mailbox.user (username) 
password = getpass.getpass(prompt-"Enter your 谷歌 password: ") 
mailbox.pass (password) 
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num messages = len(mailbox.list()[1]) 

print "Total emails: 9s" £num messages 

print "Getting last message" 

for msg in mailbox.retr(num messages)[1]: 
print msg 

mailbox.quit() 











if name == ' main 
parser - argparse.ArgumentParser(description-'Email Download Example') 
parser.add argument('--username', action-"store", dest-"username", 


default-getpass.getuser()) 
given args - parser.parse args() 
username - given args.username 
download, email (username) 


运行 这 个 脚本 后 会 看 到 类 似 下 面 的 输出 。 为 了 保护 隐私 ， 输 出 的 内 容 有 所 删 减 。 


$ python 5 4 download google email via pop3.py --username-«USERNAME» 
Enter your 2f password: 

Total emails: 333 

Getting last message 

。.. [TRUNCATED] 





5.5.3 ”原理 分 析 


这 个 攻略 通过 POP3 协 议 从 用 户 的 谷歌 账户 中 下 载 第 一 封 邮 件 。 在 aownload_email() 函数 
中 , 使 用 poplib 模 块 中 的 PoP3_SSsL 类 创建 了 一 个 mailbox 对 象 。 在 PoP3_SssL 类 的 构造 方法 中 ， 
我 们 传人 了 谷歌 POP3 服 务 需 的 地 址 和 端口 号 。 然 后 在 mailbox 对 象 上 调用 user () 方 法 ， 设 定 用 
户 的 账户 。 密 码 使 用 getpass 模 块 中 的 getpass () 方 法 以 一 种 安全 的 方式 从 用 户 的 输入 中 获取 ， 
然后 传 给 mailbox 对 象 。 在 mailbox 对 象 上 调用 1ist () 方 法 会 以 一 个 Python 列表 的 形式 返回 电 
子 邮件 。 


这 个 脚本 先 显 示 电 子 邮 件 的 数量 , 然后 调用 retr () 方 法 取 回 第 一 封 邮件 。 最 后 , fEmailbox 
对 象 上 调用 suit () 方 法 ， 安 全 地 结束 连接 。 








5.6 通过 1IMAP 协议 查收 远程 服务 器 中 的 电子 邮件 


除了 使 用 POP3 协 议 之 外 , 还 可 以 使 用 IMAP 协 议 从 谷歌 账户 中 取 回 电子 邮件 。 使 用 这 种 方法 ， 
取 回 后 邮件 不 会 被 删除 。 


5.6.1 准备 工作 
要 运行 这 个 攻略 ， 你 需要 有 谷歌 或 其 他 服务 提供 商 的 电子 邮件 账户 。 
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5.6.2 ”实战 演练 


让 我 们 连接 到 谷歌 的 电子 邮件 账户 , 读 取 第 一 封 电 子 邮 件 。 如 果 你 没有 删除 , 第 一 封 电子 邮 
件 应 该 是 来 自 谷 歌 的 欢迎 消息 。 


代码 清单 5-5 展 示 了 如 何 通 过 IMAP 协 议 查收 谷歌 账户 中 的 电子 邮件 ， 如 下 所 示 : 

















#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 5 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import argparse 
import getpass 


import imaplib 


GOOGLE IMAP SERVER = 'imap.googlemail.com' 

















def check email (username): 
mailbox = imaplib.IMAPA SSL(GOOGLE IMAP SERVER, '993') 
password = getpass.getpass(prompt-"Enter your Z2 password: ") 
mailbox.login(username, password) 
mailbox.select('Inbox') 
typ, data - mailbox.search(None, 'ALL') 
for num in data[0].split(): 

















typ, data = mailbox.fetch(num, '(RFC822)') 
print 'Message $sWMn$sWMn' $ (num, data[01[1]) 
break 


mailbox.close() 
mailbox.logout() 











ift name ss * qain "s 
parser - argparse.ArgumentParser(description-'Email Download Example') 
parser.add argument('--username', action-"store", dest-"username", 


default-getpass.getuser()) 
given args - parser.parse args() 
username - given args.username 
check email (username) 


运行 这 个 脚本 后 会 看 到 如 下 输出 。 为 了 保护 隐私 ， 删 减 了 一 些 信息 。 


$ python 5 5 check remote email via imap.py --username-«USER NAME» 
Enter your 谷歌 password: 

Message 1 

Received: by 10.140.142.16; Sat, 17 Nov 2007 09:26:31 -0800 (PST) 
Message-ID: «...»Gmail.gmail.com» 

Date: Sat, 17 Nov 2007 09:26:31 -0800 

From: "Gmail Team" «mail-noreplyGgoogle.com» 

To: "<User Full Name»" «USER NAME>@gmail .com> 

Subject: Gmail is different. Here's what you need to know. 
MIME-Version: 1.0 

Content-Type: multipart/alternative; 
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boundaryz"----- Part 7453 30339499.1195320391988" 
------z Part 7453 30339499.1195320391988 
Content-Type: text/plain; charset-ISO-8859-1 
Content-Transfer-Encoding: 7bit 
Content-Disposition: inline 


Messages that are easy to find, an inbox that organizes itself, great 
spam-fighting tools and built-in chat. Sound cool? Welcome to Gmail. 
To get started, you may want to: 

[TRUNCATED] 


5.6(3 ”原理 分 析 


上 述 脚 本 从 命令 行 参数 中 获取 谷歌 用 户 名 ,然后 调用 check_email () 函数 。 在 这 个 函数 中 ， 
使 用 imaplib 模 块 中 的 TIMaAP4_SsL 类 创建 了 一 个 mailbox 对 象 ， 实 例 化 时 传人 了 谷歌 的 IMAP 服 
务 顺 地 址 和 默认 的 端口 号 。 


然后 , 在 这 个 函数 中 使 用 密码 登录 账户 。 密 码 使 用 getpass 模 块 中 的 getpass () 方 法 从 用 户 
输入 中 捕获 。 然 后 在 mailpox 对 象 上 调用 select () 方 法 ， 选 择 收 件 箱 。 


在 mai lbox 对 象 上 可 以 调用 很 多 有 用 的 方法 ， 其 中 两 个 是 search () 和 fetch() ， 在 这 个 脚 
本 中 用 来 获取 第 一 封 邮 件 。 最 后 ， 在 mailbox 对 象 上 调用 close() 和 1logout () 方 法 ， 安 全 地 结 
束 IMAP 连 接 。 


5.7 通过 Gmail 的 SMTP 服务 器 发 送 市 有 附件 的 电子 邮件 


你 也 许 想 从 谷歌 的 电子 邮件 账户 中 发 送 一 封 邮件 到 其 他 账户 中 , 或 许 还 想 为 这 封 邮 件 附 加 一 
个 文件 。 























5.7.1 准备 工作 
要 运行 这 个 攻略 ， 你 需要 有 谷歌 或 其 他 服务 提供 商 的 电子 邮件 账户 。 


5.7.2 ”实战 演练 


我 们 可 以 创建 一 封 邮件 , 把 Python 的 LOGO python-logo.gif 附 加 到 邮件 中 , 然后 从 谷歌 账户 中 
发 给 另 一 个 账户 。 


代码 清单 5-6 展 示 了 如 何 从 谷歌 账户 中 发 送 电子 邮件 : 














d$!/usr/bin/env python 
# Python Network Programming Cookbook -- Chapter - 5 
# This program is optimized for Python 2.7. 
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# It may run on any other version with/without modifications. 


import argparse 
import os 
import getpass 
import re 
import sys 
import smtplib 


from 
from 
from 


SMTP _， 


email.mime 
email.mime 
email.mime 











SMTP PORT - 587 





image import MIMEImage 
multipart import MIMEMultipart 
text import MIMEText 








SERVER - 'smtp.gmail.com' 


def send email(sender, recipient): 


Send email message """ 


msg - MIMEMultipart() 








msg['Subject'] = 'Python Emaill Test' 
msg['To'] = recipient 

msg['From'] = sender 

subject - 'Python email Test' 


message - 


gifsearch - 


'Images attached." 
4$ attach imgae files 
files = os.listdir(os.getcwd()) 











re.compile(".gif", re.IGNORECASE 


files - filter(gifsearch.search, files) 
for filename in files: 





path = os.path.join(os.getcwd(), filename) 
if not os.path.isfile(path): 
continue 
img = MIMEImage(open(path, 'rb').read(),  subtype-"gif") 
img.add header('Content-Disposition', 'attachment', filename-filename) 


msg.attach(img) 


part - MIMEText('text', "plain") 
part.set payload (message) 
msg.attach(part) 





# create smtp session 
session = smtplib.SMTP(SMTP SERVER, SMTP PORT) 











session.ehlo() 

session.starttls() 

session.ehlo 

password = getpass.getpass(prompt-"Enter your 谷歌 password: ") 








session.login(sender, password) 
session.sendmail(sender, recipient, msg.as string()) 


print "Email sent." 


if 


name =s 


session.quit() 


main  ': 











parser = argparse.ArgumentParser(description-'Email Sending Example") 
parser.add argument('--sender', action-"store", dest-"sender") 
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parser.add argument('--recipient', action-"store", dest-"recipient") 
given args - parser.parse args() 
send email(given args.sender, given args.recipient) 


如 果 提 供 的 谷歌 账户 信息 正确 , 运行 这 个 脚本 后 会 看 到 成 功 消息 , 提示 把 一 封 邮件 发 送 给 了 
另 一 个 电子 邮件 地 址 。 运 行 这 个 脚本 之 后 , 可 以 到 收 件 人 的 电子 邮件 账户 中 确认 是 否 真 的 成 功 发 
送 了 邮件 。 



































$ python 5 6 send email from gmail.py --sender-«USERNAME»Ggmail.com - 
recipient-«USER»QG«ANOTHER COMPANY .com> 

Enter you Google password: 

Email sent. 





5.7.3 原理 分 析 


在 这 个 攻略 的 sena_email() 函数 中 创建 了 一 封 邮 件 。 我 们 为 sena_email() 函数 提供 了 和 谷 
歌 账户 ， 邮 件 从 这 个 账户 中 发 出 。 邮 件 头 对 象 msg 使 用 MTMEMultipart () 方 法 创建 ， 然 后 添加 
了 主题 、 收 件 人 和 发 件 人 。 


在 当前 路 径 中 寻找 .gif 格式 图 片 时 用 到 了 Python 中 的 正则 表达 式 处 理 模块 。 图 片 附 件 对 象 img 
由 email.mime.image 模 块 中 的 MIMEImage () 方 法 创建 。 然 后 为 图 片 对 象 设 定 了 正确 的 首部 ， 
最 后 再 把 图 片 附加 到 前 面 创建 的 msg 对 象 上 。 如 这 个 攻略 所 示 ， 我 们 可 以 在 for 循 环 中 附加 多 个 
图 片 。 使 用 类 似 的 方式 ， 还 可 以 添加 纯 文 本 附件 。 

为 了 发 送 电 子 邮 件 ， 我 们 创建 了 一 个 SMTP 会 话 ， 并 在 这 个 会 话 对 象 上 调用 了 测试 方法 ， 例 
如 ehlo() 和 starttls() 。 然 后 使 用 用 户 名 和 密码 登录 谷歌 的 SMTP 服 务 器 , 再 调用 sendmail () 
方法 发 送 电子 邮件 。 




















5.8 使 用 CGI 为 基于 Python 的 Web 服务 器 编写 一 个 留言 板 


通用 网 关 接 口 (Common Gateway Interface， 人 简称 CGI ) 是 Web 编 程 的 一 种 标准 。 通 过 CGI， 
可 以 使 用 脚本 生成 服务 器 输出 。 你 可 能 想 获取 用 户 在 浏览 器 中 输入 的 表单 数据 , 重 定向 到 另 一 个 
页 面 ， 确 认 收 到 了 用 户 执行 的 操作 。 


5.8.1 ”实战 演练 


我 们 首先 要 运行 一 个 支持 CGI 脚 本 的 Web 服 务 器 。 我 们 把 用 Python 编 写 的 CGI 脚 本 放 在 
cgi-bin/ 子 目录 中 ， 然 后 访问 包含 反馈 表单 的 HTML 页 面 。 提 交 表 单 后 ，Web 服 务 器 把 表单 数据 发 
送 给 CGI 脚本 ， 我 们 会 看 到 这 个 脚本 后 成 的 输出 。 


代码 清单 5-7 展 示 了 如 何 让 使 用 Python 编写 的 Web 服 务 器 支持 CGI: 
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d!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 5 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import os 

import cgi 

import argparse 

import BaseHTTPServer 

import CGIHTTPServer 

import cgitb 

cgitb.enable() ## enable CGI error reporting 


def web server(port): 
server - BaseHTTPServer.HTTPServer 
handler = CGIHTTPServer.CGIHTTPRequestHandler tdsRequestsHandler 
server address - ("", port) 
handler.cgi directories - ["/cgi-bin", ] 
httpd - server(server address, handler) 
print "Starting web server with CGI support on port: $s ..." port 
httpd.serve forever() 


if name se 1 main. "i 
parser - argparse.ArgumentParser(description-'CGI Server Example') 
parser.add argument('--port', action-"store", dest-"port", type-int, 
required-True) 
given args - parser.parse args() 
web server(given args.port) 


下 面 的 截图 展示 了 启用 CGI 的 Web 服 务 器 正在 伺服 内 容 : 











File Edit View Search Terminal Help 

faruq@ubuntu:chapters$ python 5 7 cgi server.py --port-88008 
Starting web server with CGI support on port: 8800 z 
localhost - - [22/Feb/2014 12:28:38] "GET / HTTP/1. 


Directory listing for / - Google Chrome 


Directory listing for / 





€ 9 localhost 安 | 


Directory listing for / 


5 1 list files on ftp server.py 
2 upload file to ftp server.py 
5 3 email current dir zipped.py 
5 4 download google email via pop3.py 








5 7 cgi server.py 


send feedback.html 


. 
. 


init .py 
e cgi-bin 

e python-logo.gif 
* readme.txt 











图 灵 社区 会 员 木头 |bj(flt0426@163.com) GE 尊重 版 权 


5.8 使 用 CGI 为 基于 Python 的 Web 服务 器 编写 一 个 留 让 


ui 
* 


101 





去 行 这 个 脚本 后 ， 会 看 到 如 下 输出 : 
$ python 5 7 cgi server.py --port-8800 
Starting web server with CGI support on port: 8800 ... 


localhost - - [19/May/2013 18:40:22] "GET / HTTP/1.1" 200 - 


现在 ， 你 要 在 浏览 器 中 访问 http://localhost:8800/5_7_send feedback.html. 
你 会 看 到 一 个 输入 表单 。 假 设 你 在 表单 中 填写 了 下 面 的 内 容 : 


Name: Userl 
Comment: Commenti 


下 面 的 截图 展示 了 在 网 页 表单 中 输入 用 户 评论 的 过 程 : 











File Edit View Search Terminal Help 

faruq@ubuntu:chapters$ python 5 7 cgi server.py --port-8800 
Starting web server with CGI support on port: 8800 ... 
localhost - - [22/Feb/2014 12 ] "GET / HTTP/1.1" 200 - 


localhost - - [22/Feb/2014 12 ] "GET /5_7_send_feedback.html HTTP/1.1" 200 - 
localhost - - [22/Feb/2014 12 ] code 404, message File not found 
localhost - - [22/Feb/2014 12:29:56] "GET /favicon.ico HTTP/1.1" 404 - 


localhost:8800/5 7 sen 





€ 2 localhost: WX 





Comment: Submit 





然后 浏览 器 会 被 重 定 向 到 http://localhost:8800/cgi-bin/5 7 get feedback.py， 在 这 个 页 面 中 你 
会 看 到 如 下 输 出 


Userl sends a comment: Commenti 


用 户 的 评论 会 显示 在 浏览 锅 中 : 


CGI Program Example 


«^ 2 localhost wow 


User1 sends a comment: Comment1 











5.8.2 原理 分 析 
我 们 创建 了 一 个 简单 的 HTTP 服 务 器 , 以 支持 处 理 CGI 请 求 。Python 在 模块 BaseHTTPServe 
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和 CGIHTTPservezr 中 提供 了 这 些 接口 。 


我 们 配置 了 处 理 程 序 ， 使 用 路 径 /cgi-bin 存 放 CGI 脚 本 。 其 他 路 径 不 能 运行 C 














文件 5_7_send_feedback.html 中 的 HTML 反 馈 表单 显示 了 一 个 很 简单 的 HTML 表 单 ， 包 含 以 下 


代码 : 


«html» 
«body» 
«form action-"/cgi-bin/5 7 get feedback.py" method-"post"» 
Name: «input type-"text" name-"Name"» «br /> 
Comment: «input type-"text" name-"Comment" /» 
«input type-"submit" value-"Submit" /> 
</form> 
</body> 
</html> 








注意 ， 这 个 表单 的 方法 是 PosT，action 属 性 被 设 为 了 /cgi-bin/$ 7 _get feedback.pyoc fF. 3X 


个 文件 的 内 容 如 下 : 


#!/usr/bin/env python 
# Python Network Programming Cookbook -- Chapter - 5 
# This program requires Python 2.7 or any later version 


# Import modules for CGI handling 
import cgi 
import cgitb 


# Create instance of FieldStorage 
form - cgi.FieldStorage() 


# Get data from fields 
name = form.getvalue('Name') 
comment = form.getvalue('Comment') 


print "Content-type:text/html\r\n\r\n" 

print "<html>" 

print "«head»" 

print "«title»CGI Program Example «/title»" 

print "«/head»" 

print "<body>" 

print "«h2» %s sends a comment: %s</h2>" % (name, comment) 
print "«/body»" 

print "</html>" 


在 这 个 CGI 脚本 中 , 调用 cgilib 模 块 中 的 Fieldastorage 0 771A, 得 到 一 个 用 于 处 理 HTML 
表单 输入 的 表单 对 象 。 然 后 使 用 getvalue () 方 法 处 理 两 个 输入 (name 和 comment )。 最 后 ， 这 





个 脚本 显示 一 行文 字 ， 提 示 某 个 用 户 发 送 了 一 篇 评论 ， 作 为 用 户 输入 的 反馈 。 
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屏幕 抓 取 和 其 他 实用 程序 








本 章 攻略 : 


口 使 用 谷歌 地 图 API 搜 索 公 司 地 址 
口 使 用 谷歌 地 图 URL 搜 索 地 理 坐 标 
口 搜索 维基 百科 中 的 文章 

口 使 用 谷歌 搜索 股价 

口 搜索 GitHub 中 的 源 代码 仓库 

口 读 取 BBC 的 新 闻 订 阅 源 

a 仆 取 网 页 中 的 链接 











6.1 简介 





本 章 介绍 一 些 有 趣 的 Python 脚本 ， 可 让 你 从 网 络 中 获取 有 用 信息 ， 例 如 公司 地 址 、 某 公司 的 
股价 或 通讯 社 网 站 中 的 最 新 资讯 。 这 些 Python 脚本 演示 了 不 使 用 复杂 的 API 时 ， 如 何以 更 简单 的 
方式 获取 简要 信息 。 


按照 这 些 攻略 的 做 法 ， 你 能 编写 适应 复杂 需求 的 代码 ， 例 如 ， 找 到 一 家 公司 的 详细 信息 ,， 包 
括 所 在 地 、 新 闻 、 股 价 等 。 
6.2 ”使 用 谷歌 地 图 API 搜索 公司 地 址 

你 可 能 想 搜索 所 在 地 区 内 一 家 知名 公司 的 地 址 。 


6.2.1 准备 工作 


你 可 以 使 用 Python 的 地 理 编码 库 pygeocoder 搜 索 本 地 公司 。 你 需要 使 用 pip 或 easy_instal1 
从 PyPI 上 安装 这 个 库 ， 输入 的 命令 为 $ pip install pygeocoderzk$ easy install pygeocoder。 
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6.2.2 ”实战 演练 
我 们 来 使 用 几 行 Python 代码 查找 英国 著名 零售 商 Argos 有 限 公司 的 地 址 。 
代码 清单 6-1 是 一 个 简单 的 地 理 编码 示例 ， 用 于 搜索 一 家 公司 的 地 址 ， 如 下 所 示 : 
kite i i magus 


# This program is optimized for Python 2.7. 
# It may run on any other version with/without modifications. 











from pygeocoder import Geocoder 
def search business (business_name): 
results = Geocoder.geocode(business name) 


for result in results: 
print result 


if name == '_ main, 
business_name = "Argos Ltd, London" 
print "Searching %s" %business_name 
search_business (business_name) 


这 个 脚本 会 打印 出 Argos 有 限 公司 的 地 址 ， 如 下 所 示 。 输 出 的 内 容 根据 所 安装 的 地 理 编码 库 
会 有 细微 的 差别 。 























$ python 6 1 search business addr.py 
Searching Argos Ltd, London 


Argos Ltd, 110-114 King Street, London, Greater London W6 0QP, UK 


6.2.3 ”原理 分 析 
这 个 攻略 依赖 于 Python 的 第 三 方 地 理 编码 库 。 























这 个 攻略 定义 了 一 个 简单 的 函数 ，search_business () ， 其 参数 是 公司 名 ， 然 后 它 把 公司 
名 传 给 geocode () Zi, geocode () 方 法 可 能 返回 零 个 或 多 个 结果 ， 有 具体 取决 于 搜索 的 关键 字 。 











在 这 个 攻略 中 ， 传 给 geocode () 方 法 的 搜索 关键 字 是 “Argos Ltd, London”。 得 到 的 结果 是 
Argos 有 限 公司 的 地 址 ， 即 “110-114 King Street, London, Greater London W6 0QP, UK", 


624 ”参考 资源 


pygeocoder 库 很 强大 ， 有 很 多 与 地 理 编码 有 关 的 有 趣 和 有 用 的 功能 。 在 开发 者 的 网 站 中 有 
更 详细 的 说 明 ， 地 址 为 https:Wbitbucket.org/xsterpygeocoder/wiki/Home。 
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6.3 ”使 用 谷歌 地 图 URL 搜索 地 理 坐 标 


有 时 你 需要 一 个 简单 的 函数 ,只 通过 城市 名 即 可 找 出 城市 的 地 理 坐 标 。 你 或 许 不 想 为 这 么 简 
单 的 任务 安装 任何 第 三 方 库 。 























6.3.1 实战 演练 


在 这 个 简单 的 屏幕 抓 取 示例 中 ， 我们 使 用 谷歌 地 图 URL 查 询 一 个 城市 的 纬度 和 经 度 。 在 谷 
歌 地 图 中 搜索 一 次 之 后 就 能 找到 查询 所 需 的 URL。 我 们 可 以 按照 下 面 的 步骤 从 谷歌 地 图 中 提取 


信息 。 


城市 名 使 用 argparse 模 块 从 命令 行 中 获取 。 














地 图 搜索 URL 使 用 ur11ib 模 块 中 的 urlopen () 函数 打开 。 如 果 UREL 正 确 ， 会 得 到 一 个 XML 
格式 的 输出 。 


然后 处 理 XML 输 出， 获取 该 城市 的 地 理 坐标 。 








代码 清单 6-2 使 用 谷歌 地 图 查找 一 个 城市 的 地 理 坐标 ， 如 下 所 示 : 


d$!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 6 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import argparse 
import os 
import urllib 





ERROR STRING = '«error»' 


def find lat long(city): 
" Find geographic coordinates """ 
# Encode query string into Google maps URL 
url = 'http://maps.google.com/?q-' + urllib.quote(city) + '&output-js' 
print 'Query: $s' $ (url) 





# Get XML location from Google maps 
xml - urllib.urlopen(url).read() 





if ERROR STRING in xml: 
print 'MnGoogle cannot interpret the city.' 
return 
else: 
# Strip lat/long coordinates from XML 
tat, Iing = 0.0,0.0 
center xml[xml.find('(center')«10:xml.find(')',xml.find('(center'))] 
center center.replace('lat:','').replace('1ng:','') 
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lat,lng = center.split(',") 
print "Latitude/Longitude: $s/$sWMn" $(lat, 1ng) 





if name -- ' main 
parser = argparse.ArgumentParser(description-'City Geocode Search') 
parser.add argument('--city', action-"store", dest-"city", required-True) 


given args - parser.parse args() 


print "Finding geographic coordinates of $s" $given args.city 
find lat long(given args.city) 


运行 这 个 脚本 后 ， 会 看 到 类 似 下 面 的 输出 : 


$ python 6 2 geo coding by google maps.py --city-London 
Finding geograhic coordinates of London 

Query: http://maps.google.com/?q-London&output-js 
Latitude/Longitude: 51.511214000000002/-0.119824 








6.3.2 ”原理 分 析 


这 个 攻略 从 命令 行 中 获取 城市 名 ， 然 后 将 其 传 给 finq_lat_long O 函数 。 这 个 函数 使 用 
url1ib 模 块 中 的 urlopen () 函数 查询 谷歌 地 图 服务 ， 得 到 XML 格式 的 结果 。 然 后 ， 在 得 到 的 结 
果 中 搜索 字符 串 '<error>' ， 如 果 找 不 到 就 说 明 结 果 没 问题 。 


如 果 你 把 原始 的 XML 打印 出 来 ， 会 发 现 有 很 多 字符 ， 这 些 字符 是 为 浏览 器 生成 的 。 在 浏览 
器 中 ， 需 要 在 地 图 上 显示 图 层 。 但 在 这 个 攻略 中 ， 我 们 只 需要 纬度 和 经 度 。 

我 们 使 用 字符 串 处 理 方法 find() 从 原始 的 XML 中 提取 出 纬度 和 经 度 。 我 们 搜索 的 关键 字 是 
“center”, 以 便 找 出 地 理 坐 标 信息 。 但 得 到 的 结果 中 包含 一 些 额外 的 字符 , 所 以 又 调用 replace () 
方法 将 其 删除 。 


你 可 以 使 用 这 个 攻略 查找 世界 上 任何 一 座 城市 的 经 纬度 。 


























6.4 搜索 维基 百科 中 的 文章 


维基 百科 是 个 非常 棒 的 网 站 , 汇聚 了 几乎 所 有 的 信息 ， 例 如 人 人物、 场所 和 技术 等 。 如 果 你 想 
使 用 Python 脚本 在 维基 百科 中 搜索 点 儿 什么 ， 可 以 参考 这 个 攻略 。 


下 面 是 一 篇 文章 示例 : 
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Islam - Wikipedia, the free encyclopedia - Google Chrome 





x à 
d 
P. g 
A 
^n X 
nr D Amending our Tems of Use: e 
Ww EIE DIA (5 Please comment on a proposed amendment regarding undisclosed paid editing. 


Men pene Islam 


From Wibpedia. te tee encyclopedia. 






and Abrahamic religion articulated by the Qu a 
teachings: and normative example (cated the 
An adherent of Isiam is called a Musim 






re Allah (God)?! Muslims also believe that 
wona. including notably theougn 





the Largest Musien monty 





Y a 
Win about 1.6 billion 














6.4.4 准备 工作 


你 需要 使 用 pip 或 easy_install 从 PyPI 上 安装 第 三 方 库 pyyaml， 输 入 的 命令 为 $ pip 
install pyyaml 或 $ easy install pyyaml。 


6.4.2 ”实战 演练 
我 们 使 用 关键 字 “Islam” 搜 索 维 基 百 科 ， 然 后 把 结果 打印 出 来 ， 一 行 显示 一 个 。 
代码 清单 6-3 展 示 了 如 何在 维基 百科 中 搜索 文章 ， 如 下 所 示 : 


#!/usr/bin/env python 

# -*- coding: utf-8 -*- 

# Python Network Programming Cookbook -- Chapter - 6 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 





import argparse 
import re 
import yaml 
import urllib 
import urllib2 





SEARCH URL - 
'http://$s.wikipedia.org/w/api.php?action-query&list-search&srsearch-$s&sroffset-$ 
d&srlimit-$d&format-yaml' 


class Wikipedia: 


def | init (self, lang-'en'): 
self.lang - lang 
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def get content(self, url): 
request - urllib2.Request (url) 
request.add header('User-Agent', 'Mozilla/20.0') 


try: 

result - urllib2.urlopen(request) 
except urllib2.HTTPError, e: 

print "HTTP Error:$s" £$(e.reason) 
except Exception, e: 

print "Error occured: $s" $str(e) 
return result 














def search content(self, query, page-1, limit-10): 
offset - (page - 1) * limit 
url - SEARCH URL $ (self.lang, urllib.quote plus(query), offset, limit) 
content - self. get content(url).read() 





parsed - yaml.load(content) 
search = parsed['query']l['search'] 
if not search: 

return 


results - [] 

for article in search: 
snippet - article['snippet'] 
snippet = re.sub(r'(?m)«.*?»', '', snippet) 
snippet = re.sub(r'Ns-*', ' ', snippet) 
snippet = snippet.replace(' . ', '. ') 
snippet = snippet.replace(' , ', ', ') 
snippet - snippet.strip() 


results.append(í 
'title' : article['title'].strip(), 
'snippet' : snippet 

3) 


return results 





if name == ' main ': 
parser = argparse.ArgumentParser(description-'Wikipedia search') 
parser.add argument('--query', action-"store", dest-"query", required-True) 


given args - parser.parse args() 

wikipedia = Wikipedia() 

search term - given args.query 

print "Searching Wikipedia for $s" $search term 
results - wikipedia.search content(search term) 





print "Listing $s search results..." $len(results) 
for result in results: 

print "--$s-- Mn Ntgs" $(result['title'], result['snippet']) 
print "---- End of search results ----" 





运行 这 个 脚本 在 维基 百科 中 搜索 “Islam”， 得 到 的 输出 结果 如 下 所 示 : 


$ python 6 3 search article in wikipedia.py --query-'Islam' 
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Searching Wikipedia for Islam 
Listing 10 search results... 
==Islam== 
Islam. (e|: | s | 1 Ja :| m LJL , ar | ALA | al- Islam æl? 1 sela:m | IPA | 
ar-al islam. 
-zSunni Islam-- 


Sunni Islam ( | s |u: | n| ior*|s|o |n]| i |) is the 
largest branch of Islam ; its adherents are referred to in Arabic as ... 
==Muslim== 


A Muslim, also spelled Moslem is an adherent of Islam, a 
monotheistic Abrahamic religion based on the Qur'an —which Muslims 
consider the ... 
zzSharia-- 

is the moral code and religious law of Islam. Sharia deals with 
many topics addressed by secular law, including crime, politics, and ... 
-zHistory of Islam-- 

The history of Islam concerns the Islamic religion and its 
adherents, known as Muslim s. " "Muslim" is an Arabic word meaning 
"one who ... 
zzCaliphate-- 

a successor to Islamic prophet Muhammad ) and all the Prophets 
of Islam. The term caliphate is often applied to successions of 
Muslim ... 
==Islamic fundamentalism-- 

Islamic ideology and is a group of religious ideologies seen as 
advocating a return to the "fundamentals" of Islam : the Quran and 
the Sunnah. ... 
==Islamic architecture-- 

Islamic architecture encompasses a wide range of both secular 
and religious styles from the foundation of Islam to the present day. 
---- End of search results ---- 





6.4.8 ”原理 分 析 


首先 ， 我 们 组 建 了 用 于 搜索 文章 的 维基 百科 URL 模 板 。 然 后 定义 一 个 名 为 wikipedia 的 类 ， 
其 中 有 两 个 方法 : _get_content () 和 search_content () 。 默 认 情 况 下 , 初始 化 时 ,把 语言 属 
性 lang 设 为 en ( 英语 )。 


命令 行 中 输入 的 查询 字符 串 传 给 search_content () 方 法 ,替换 模板 中 的 语言 查询 字符 串 、 
局 移 页 数 和 返回 结果 数量 ， 得 到 真正 的 搜索 URL。search_content () 方 法 的 page 人 参数 是 可 选 
的 ， 偏 移 页 数 由 表达 式 (page -1) * 1imit 计 算得 出 。 


搜索 结果 的 内 容 通过 _get_content () 方 法 获得 。 在 _get_content () 方 法 中 调用 了 
ur1l11ib 模 块 中 的 uzlopen () 函数 。 在 搜索 URL 中 ， 我 们 把 结果 的 格式 设 为 vaml ， 这 基本 上 就 是 
纯 文 本 文件 。 然 后 再 使 用 Python 的 pyyaml 库 解析 得 到 的 yam1 格 式 搜 索 结果 。 


搜索 结果 使 用 正则 表达 式 蔡 换 各 结果 中 的 内 容 。 例 如 ，zre.sub(z'(?m)<.*?3>'， '', 
snippet) 在 字符 串 snippet 中 替换 匹配 (?m) <.*?>) 模 式 的 内 容 。 寿 想 进 一 步 学 习 正 则 表达 式 ， 
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请 阅读 Python 文 档 ， 地 址 是 http://docs.python.org/2/howto/regex.html。 


在 维基 百科 中 , 每 篇 文章 都 有 一 个 摘要 或 简短 说 明 。 我 们 创建 了 一 个 由 字典 组 成 的 列表 , 列 
表 中 的 每 个 元 素 都 包含 一 个 搜索 结果 的 标题 和 摘要 。 然 后 遍历 这 个 由 字典 组 成 的 列表 , 打印 搜索 


结果 。 


6.5 ”使 用 谷歌 搜索 股价 
如 果 你 关注 革 公 司 的 股价 ， 这 个 攻略 能 帮助 你 了 解 该 公司 今天 的 股价 。 


6.5.1 


准备 工作 
假设 你 知道 所 关注 的 公司 在 股票 交易 所 挂牌 上 市 使 用 的 代号 。 如 果 不 知道 , 可 以 在 该 公司 的 








网 站 中 查找 ,或 者 在 谷歌 中 搜索 。 


6.5.2 ”实战 演练 


我 们 要 使 用 谷歌 财经 ( http://finance.google.com/ ) 搜索 指定 公司 的 股价 。 你 可 以 在 命令 行 中 


输入 代号 ， 如 下 面 的 代码 所 示 。 
代码 清单 6-4 说 明 如 何在 谷歌 中 搜索 股价 ， 如 下 所 示 : 


#!/usr/bin/env python 
# Python Network Programming Cookbook -- Chapter - 6 
# This program is optimized for Python 2.7. 


# It may run on any other version with/without modifications. 


import argparse 

import urllib 

import re 

from datetime import datetime 





SEARCH URL = 'http://finance.google.com/finance?q-' 


def get quote(symbol): 


if 


content = urllib.urlopen(SEARCH URL + symbol).read() 
m = re.search('id-"ref 694653 1".*?»2(.*?)«', content) 
if m: 

quote = m.group(1) 
else: 

quote = 'No quote available for: ' + symbol 
return quote 





name -- ' main 





parser - argparse.ArgumentParser(description-'Stock quote search') 
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parser.add argument('--symbol', action-"store", dest-"symbol", required-True) 

given args - parser.parse args() 

print "Searching stock quote for symbol '$s'" $given args.symbol 

print "Stock quote for $s at $s: $s" $(given args.symbol , datetime.today(), 
get quote(given args.symbol)) 


运行 这 个 脚本 后 ， 会 看 到 类 似 下 面 的 输出 。 这 里 ， 我 们 输入 代号 goog， 搜 索 谷 歌 的 股价 ， 
如 下 所 示 : 
$ python 6 4 google stock quote.py --symbol=goog 


Searching stock quote for symbol 'goog' 
Stock quote for goog at 2013-08-20 18:50:29.483380: 868.86 





6.5.3 原理 分 析 
在 这 个 脚本 中 ， 使 用 ur11ib 模 块 中 的 uzlopen () 函数 从 谷歌 财经 网 站 中 获取 股票 数据 。 


我 们 使 用 正则 表达 式 库 re， 从 第 一 组 数据 中 获取 股价 。re 库 的 search 函 数 很 强大 ， 能 搜索 
内 容 并 过 滤 特 定 公司 的 ID。 


我 们 使 用 这 个 攻略 搜索 了 谷歌 的 股价 ， 在 2013 年 8 月 20 日 ， 其 股价 是 868.86。 




















6.6 搜索 GitHub 中 的 源 代码 仓库 


作为 一 个 Python 程 序 员 , 你 可 能 已 经 知道 GitHub( http:/www.github.com, 如 下 面 的 截图 所 示 ) 
这 个 源 代码 分 享 网 站 了 。 使 用 GitHub, 你 可 以 把 源 代码 私下 分 享 给 团队 ,也 可 以 公开 分 享 给 全 志 
界 。GitHub 有 一 个 好 用 的 API 接 口 ， 可 以 查询 任何 源 代码 仓库 。 这 个 攻略 或 许 能 为 你 的 源 代码 搜 
索引 擎 提供 一 些 起 步 代 码 。 





























D GitHub - Build software better, together. - Google Chrome 


GitHub 


Build software 


better, together. 


Powerful collaboration, code review, and code management for 


open source and private projects. Need private repositories? 
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6.6.1 准备 工作 


运行 这 个 脚本 需要 安装 Python 第 三 方 库 requests， 执 行 命令 $ pip install requests 或 
$ easy install redquests 即 可 。 


6.6.2 ”实战 演练 


我 们 要 定义 search_repository () 函数 ， 其 参数 是 作者 名 ( 即 程 序 员 名 )、 仓 库 名 和 搜索 
的 键 名 , 得 到 的 是 键 对 应 的 结果 ,根据 GitHub 的 API, 可 用 的 搜索 键 有 : ijssues_url、has_wiki、 


forks url, mirror url, subscription url, notifications url, collaborators_ 
































url,updated at,private,pulls url,issue comment url,labels url,full name, 
owner, statuses url, id, keys url, description, tags url, network count, 
downloads url,assignees url, contents url,git refs url,open issues count, 
clone url,watchers count,git tags url,milestones url,languages url,size, 
homepage, fork, commits url, issue events url, archive url, comments url, 
events url, contributors url, html url, forks, compare url, open issues, 
git url, svn url, merges url, has issues, ssh url, blobs url, master branch, 
git commits url, hooks url, has downloads, watchers, name, language, url, 
created at, pushed at, forks count, default branch, teams url, trees url, 


organization, branches url, subscribers urlÍflstargazers url. 


代码 清单 6-5 给 出 了 在 GitHub 中 搜索 源 代码 仓库 详情 的 代码 ， 如 下 所 示 : 


#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 6 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


Uu 


EARCH URL BASE - 'https://api.github.com/repos' 








import argparse 
import requests 
import json 


def search repository(author, repo, search for-'homepage'): 
url = "$s/$s/$s" $(SEARCH URL BASE, author, repo) 
print "Searching Repo URL: $s" $url 
result - requests.get(url) 
if(result.ok): 
repo info - json.loads(result.text or result.content) 
print "Github repository info for: $s" £repo 
result - "No result found!" 
keys = [] 
for key,value in repo info.iteritems(): 
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if search for in key: 
result = value 
return result 





if name sso^ main 's: 
parser - argparse.ArgumentParser(description-'Github search') 
parser.add argument('--author', action-"store", dest-"author", required-True) 
parser.add argument('--repo', action-"store", dest-"repo", required-True) 
parser.add argument('--search for', action-"store", dest-"search for", 


required-True) 


given args - parser.parse args() 
result - search repository(given args.author, given args.repo, 
given args.search for) 

if isinstance(result, dict): 

print "Got result for '$s'..." $(given args.search for) 

for key,value in result.iteritems(): 

print "$s => £s" $(key,value) 

else: 

print "Got result for $s: $s" £$(given args.search for, result) 


如 果 运 行 这 个 脚本 搜索 Python Web 框 架 Django 的 拥有 者 ， 得 到 的 结果 如 下 所 示 : 


$ python 6 5 search code github.py --author=django --repo-django --search for-owner 
Searching Repo URL: https://api.github.com/repos/django/django 

Github repository info for: django 

Got result for 'owner'... 

following url => https://api.github.com/users/django/following(/other user) 
events url -» https://api.github.com/users/django/events(/privacy) 
organizations url -» https://api.github.com/users/django/orgs 

url -» https://api.github.com/users/django 

gists url => https://api.github.com/users/django/gists(/gist id) 

html url => https://github.com/django 

subscriptions url -» https://api.github.com/users/django/subscriptions 
avatar url => https://1l.gravatar.com/avatar/fd542381031aa84dca86628ece84f 
c07?d-https?;3A*$2F*s:2Fidenticons.github.com?*2Fe94df919e51ae96652259468415d4f77.png 
repos url -» https://api.github.com/users/django/repos 

received events url -» https://api.github.com/users/django/received events 
gravatar id => fd542381031aa84dca86628ece84fc07 

starred url => https://api.github.com/users/django/starred(/owner)(/repo) 
login => django 

type -» Organization 

id -» 27804 

followers url => https://api.github.com/users/django/followers 











6.6(3 ”原理 分 析 


这 个 脚本 接收 三 个 命令 行 参数 : 仓库 作者 ( --author )、 仓 库 名 ( --repo )、 要 搜索 的 信息 
( --search for), uo m 


ÍEsearch repository O KAUF, 把 这 些 命令 行 参数 添加 到 一 个 固定 的 搜索 URL 中 ， 然 后 
调用 requests 模 块 中 的 get () 方 法 获取 搜索 结果 。 
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默认 情况 下 ， 返 回 的 搜索 结果 是 JSON 格 式 。 然 后 ， 调 用 json 模 块 中 的 1oaaqas ( ) 方 法 处 理 搜 
索 结 果 。 在 结果 中 查找 搜索 的 键 , 把 键 对 应 的 值 返回 给 search_repository O 函数 的 调用 程序 。 





在 _main _ 块 中 , 我们 检查 搜索 结果 是 否 为 一 个 Python 字 典 实例 。 如 果 是 ， 























把 键 值 对 打印 出 来 ; 否则 ， 直 接 打印 结果 。 





6.7 XZH BBC 的 新 闻 订 阅 源 


如 果 你 在 开发 一 个 新 闻 和 故事 相关 的 社会 化 网 站 , 或 许 想 显示 世界 上 不 同 新 闻 通 讯 社 ( 例如 
BBC 和 路 透 社 ) 的 新 闻 。 让 我 们 试 着 使 用 Python 脚本 从 BBC 读 取 新 闻 。 





6.7.1 准备 工作 


就 遍历 结果 ， 























这 个 攻略 依赖 于 Python 第 三 方 库 feedparser。 你 可 以 执行 下 面 的 命令 安装 这 个 库 : 


$ pip install feedparser 
或 


$ easy install feedparser 


6.7.2 ”实战 演练 


首先 , 我 们 要 从 BBC 的 网 站 上 找到 新 闻 订 阅 源 的 URL。 这 个 URL 可 以 作为 搜索 不 同类 型 新 闻 
的 模板 , 例如 国际 新 闻 、 国 内 新 闻 、 健 康 新 闻 、 商 业 新 闻 和 技术 新 闻 。 新 闻 的 类 








输入 中 获取 。 然 后 ， 调 用 reaqd_news 




















) 函数 ， 从 BBC 的 网 站 中 读 取 新 闻 。 


代码 清单 6-6 说 明了 如 何 从 BBC 的 新 闻 订 阅 源 读 取 新 闻 ， 如 下 所 示 : 


d!/usr/bin/env python 


# Python Network Programming Cookbook -- Chapter - 6 
# This program is optimized for Python 2.7. 
# It may run on any other version with/without modifications. 


from datetime import datetime 
import feedparser 


BBC FEED URL = 'http://feeds.bbci.co.uk/news/$s/rss.xml' 











def read news(feed url): 
try: 


data - feedparser.parse(feed url) 





except Exception, e: 











型 可 以 从 用 户 的 


print "Got error: $s" %str (e) 


for entry in data.entries: 
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print(entry.title) 
print(entry.link) 
print(entry.description) 
prine ("ny 


if name == '_ main_ ': 

print "==== Reading technology news feed from bbc.co.uk ( 
%datetime.today () 

print "Enter the type of news feed: " 

print "Available options are: world, uk, health, sci-tech, business, technology" 

type = raw_input ("News feed type:") 

read_news (BBC_FEED_URL %type) 

print "==== End of BBC news feed =====" 


运行 这 个 脚本 后 , 会 显示 可 选 的 新 闻 类 别 。 如 果 选 择 技术 类 , 就 会 显示 技术 相关 的 最 新 新 闻 ， 
如 下 面 的 输出 所 示 : 


$ python 6 6 read bbc news feed.py 

==== Reading technology news feed from bbc.co.uk (2013-08-20 19:02:33.940014)-2-2-- 
Enter the type of news feed: 

Available options are: world, uk, health, sci-tech, business, technology 

News feed type:technology 

Xbox One courts indie developers 
http://www.bbc.co.uk/news/technology-23765453dsa-ns mchannel-rss&ns source-PublicR 
SS20-sa 

Microsoft is to give away free Xbox One development kits to encourage 

independent developers to self-publish games for its forthcoming console. 





























Fast in-flight wi-fi by early 2014 
http://www.bbc.co.uk/news/technology-2376853618sa-ns mchannel-rss&ns source-PublicR 
SS20-sa 

Passengers on planes, trains and ships may soon be able to take advantage 

of high-speed wi-fi connections, says Ofcom. 





Anonymous 'hacks council website' 
http://www.bbc.co.uk/news/uk-england-surrey-237726354sa-ns mchannel-rss&ns source- 
PublicRSS20-sa 

A Surrey council blames hackers Anonymous after references to a Guardian 
journalist's partner detained at Heathrow Airport appear on its website. 


Amazon.com website goes offline 
http://www.bbc.co.uk/news/technology-2376252618sa-ns mchannel-rss&ns source-PublicR 
SS20-sa 

Amazon's US website goes offline for about half an hour, the latest high- 

profile internet firm to face such a problem in recent days. 


[TRUNCATED] 


6.7.8 原理 分 析 


在 这 个 攻略 中 ，read_news () 函数 依赖 于 Python 第 三 方 模块 feedparser。feedparsetr 模 


图 灵 社区 会 员 木头 |bj(flt0426@163.com) 专 享 尊重 版 权 


116 $63 屏幕 抓 取 和 其 他 实用 程序 





块 中 的 parse () 方 法 以 结构 化 形式 返回 订阅 源 中 的 数据 。 


在 这 个 攻略 中 ，parse () 方 法 解析 指定 的 订阅 源 URL。 这 个 URL 由 BBC_FEED_URL 和 用 户 的 


如 果 无 异常 就 调用 parse () 方 法 获取 订阅 源 中 的 数据 , 再 把 数据 中 的 内 容 打印 出 来 , 例如 每 
条 新 闻 的 标题 、 链 接 和 描述 。 




















6.8 ERN PAHE 


有 时 你 可 能 想 在 网 页 中 查找 某 个 关键 字 。 在 网 页 浏览 器 中 , 可 以 使 用 页 内 搜索 功能 找到 关键 
字 。 有 些 浏 览 带 还 能 高 完 显 示 关 键 字 。 如 有 果 情 况 复 杂 ， 你 或 许 还 想 进一步 深入 查找 ,跟踪 网 页 中 
的 每 个 URL， 查 找 某 个 关键 字 。 这 个 攻略 的 目的 是 自动 化 完成 这 样 的 任务 。 











6.8.1 ”实战 演练 


我 们 来 定义 search_links O 函数 ， 它 接收 三 个 参数 : 搜索 的 URL、 递 归 搜 索 的 深度 、 搜 索 
关键 字 。 因 为 每 个 URL 对 应 的 内 容 中 都 可 能 有 很 多 链接 ,而 且 各 链接 指向 的 内 容 中 或 许 还 有 更 多 
的 链接 要 疏 取 ， 所 以 我 们 要 递归 搜索 。 为 了 限制 递归 搜索 ,我 们 定义 了 一 个 深度 。 到 达 指 定 的 深 
度 后 ， 就 不 会 再 继续 搜索 了 。 


代码 清单 6-7 给 出 了 疏 取 网 页 中 链接 的 代码 ， 如 下 所 示 : 








#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 6 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import argparse 
import sys 
import httplib 
import re 


processed - [] 


def search links(url, depth, search): 
# Process http links that are not processed yet 
url is processed - (url in processed) 
if (url.startswith("http://") and (not url is processed)): 
processed.append (url) 
url - host - url.replace("http://", "", 1) 
path = "/" 


urlparts - url.split("/") 
if (len(urlparts) » 1): 
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host - urlparts[0] 
path url.replace(host, "", 1) 


# Start crawing 

print "Crawling URL path:$s$s " $(host, path) 
conn - httplib.HTTPConnection (host) 

req - conn.request("GET", path) 

result - conn.getresponse() 





4 find the links 
contents - result.read() 
all links = re.findall('href-"(.*?)"', contents) 


if (search in contents): 
print "Found " + search + " at " + url 


print " ==> $s: processing $s links" $(str(depth), str(len(all links))) 
for href in all links: 
# Find relative urls 
if (href.startswith("/")): 
href = "http://" + host + href 


# Recurse links 
if (depth » 0): 
search links(href, depth-1, search) 





else: 
print "Skipping link: $s ..." $url 
SE name == '_ main ': 
parser = argparse.ArgumentParser (description='Webpage link crawler') 
parser.add argument('--url', action-"store", dest-"url", required-True) 
parser.add argument('--query', action-"store", dest-"query", required-True) 
parser.add argument('--depth', action-"store", dest-"depth", default-2) 





given args - parser.parse args() 


try 

search links(given args.url, given args.depth,given args.query) 
except KeyboardInterrupt: 

print "Aborting search by user request." 


如 果 运 行 这 个 脚本 在 www.python.org 中 搜索 python， 会 看 到 类 似 下 面 的 输出 : 


$ python 6 7 python link crawler.py --url='http://python.org' --query='python' 
Crawling URL path:python.org/ 
Found python at python.org 
==> 2: processing 123 links 
Crawling URL path:www.python.org/channews.rdf 
Found python at www.python.org/channews.rdf 
==> 1: processing 30 links 
Crawling URL path:www.python.org/download/releases/3.4.0/ 
Found python at www.python.org/download/releases/3.4.0/ 
==> 0: processing 111 links 
Skipping link: 
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https://ep2013.europython.eu/blog/2013/05/15/epc20145-call-proposals ... 
Crawling URL path:www.python.org/download/releases/3.2.5/ 
Found python at www.python.org/download/releases/3.2.5/ 

==> 0: processing 113 links 


Skipping link: http://www.python.org/download/releases/3.2.4/ ... 
Crawling URL path:wiki.python.org/moin/WikiAttack2013 
^CAborting search by user request. 


6.8. ”原理 分 析 


这 个 攻略 接收 三 个 命令 行 参数 : 搜索 的 URL ( --url )、 查 询 字 符 串 ( --query ) HRE 
( --depth )。 这 些 参 数 由 argparse 模 块 解 析 。 


pe te i re ) 函数 后 , 会 递归 人 遍历 在 指定 网 页 中 找到 的 所 有 链接 。 如 
果 运 行 很 长 时 间 还 没 结束 ， 你 应 该 提前 退出 脚本 。 因 此 ， 我 们 才 把 search_links O 函数 放 在 
txy-except 块 中 ， 以 便 捕 获 用 户 在 键盘 中 输入 的 中 断 操作 ， 例 如 按 Ctrl+C 键 。 


search, links () 水 数 把 访问 过 的 链接 保存 在 brocessed 列 表 中 ,processed 放 在 全 局 作用 
域 中 ， 以 便 递 归 调 用 函数 时 使 用 。 


每 次 搜索 时 ， 都 要 保证 只 处 理 HTTP URL， 防 止 出 现 潜在 的 SSL 验 证 错误 。URL 被 分 成 主机 
和 路 径 两 部 分 。 顶 层 疏 取 使 用 httplib 库 中 的 HrTPCconnection () 函数 实例 化 。 然 后 发 起 一 个 
GET 请 求 ， 使 用 正则 表达 式 模块 ze 处 理 响 应 ， 收 集 响应 中 的 所 有 链接 。 然 后 在 响应 中 查找 要 搜索 
的 关键 字 。 如 果 找 到 了 关键 字 ， 就 打印 出 来 。 


收集 到 的 链接 使 用 相同 的 方式 递归 访问 。 如 果 找 到 了 相关 链接 ， 就 在 地 址 前 加 上 http://， 
转换 成 完整 的 URL。 如 果 搜 索 深 度 大 于 零 ， 说 明 可 以 递归 搜索 ,把 深度 减 去 一 后 ， 再 次 调用 搜索 
函数 。 当 搜索 次 度 为 零 时 ， 递 归结 
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本 章 攻略 : 


口 使 用 telnet 在 远程 主机 中 执行 shell 命 令 
口 通过 SFTP 把 文件 复制 到 远程 设备 中 
口 打印 远程 设备 的 CPU 信息 

口 在 远程 主机 中 安装 Python 包 

口 在 远程 主机 中 运行 MySQL 命 令 

口 通过 SSH 把 文件 传输 到 远程 设备 中 

口 远程 配置 Apache 运 行 网 站 


















































7.1 简介 





本 章 推荐 一 些 有 趣 的 Python 库 。 这 些 攻略 的 目的 是 ， 向 系统 管理 员 和 高 级 Python 程序 员 介绍 如 





何 编写 代码 连接 远程 系统 执行 命令 。 本 章 首先 介绍 使 用 Python 内 置 库 telnetlip 编 写 的 简单 攻略 ， 
然后 介绍 知名 的 远程 连接 库 paramiko, 最 后 介绍 强大 的 远程 系统 管理 库 fabric。 经 常 编写 脚本 完 
成 自动 化 部 署 任务 例如 部 署 Web 应 用 或 编译 应 用 的 二 进 制 文件 ) 的 开发 者 很 喜欢 fabric 库 。 























7.2 使 用 telnet 在 远程 主机 中 执行 shell 命令 


如 果 想 通过 telnet 连 接 旧 的 网 络 交换 机 或 路 由 器 ， 无 需 使 用 bash 脚 本 或 交互 式 shell， 可 以 在 
Python 脚本 中 完成 这 一 操作 。 这 个 攻略 要 创建 一 个 简单 的 telnet 会 话 , 说 明 如 何在 远程 主机 中 执行 


shell 命 令 。 


7.2.1 准备 工作 


你 


你 需要 在 自己 的 设备 中 安装 telnet 服 务 器 ， 并 确保 其 能 正常 运行 。 你 可 以 使 用 操作 系统 专用 
的 包 管 理 器 安装 telnet 服 务 器 包 。 例 如 , 在 Debian/Ubuntu 中 ， 可 以 使 用 apt-get 或 aptitude 安 装 
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telnetd 包 ， 如 下 面 的 命令 所 示 : 


$ sudo apt-get install telnetd 
$ telnet localhost 


7.2.2 ”实战 演练 
我 们 来 定义 一 个 函数 ， 从 命令 行 中 获取 用 户 登 录 赁 据 ， 然 后 连接 telnet 服 务 器 。 


成 功 连接 后 , 这 个 函数 会 把 1s 命 令 发 送 给 服务 需 , 然后 显示 命令 的 输出 , 例如 列 出 一 个 目录 
中 的 内 容 。 


代码 清单 7-1 是 一 个 telnet 会 话 的 代码 ， 在 远程 主机 中 执行 一 个 Unix 命 令 ， 如 下 所 示 : 


#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 7 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import getpass 
import sys 
import telnetlib 


HOST = "localhost" 
def run telnet session(): 


user - raw input("Enter your remote account: ") 
password - getpass.getpass() 





session - telnetlib.Telnet (HOST) 


session.read until("login: ") 
session.write(user + "Mn") 
if password: 
session.read until("Password: ") 
session.write(password + "Mn") 


session.write("lsWn") 
session.write("exitWn") 


print session.read all() 


if name == '_ maim s 
run_telnet_session() 


如 果 本 地 设备 中 运行 有 telnet 服 务 器 ， 运 行 这 个 脚本 后 ， 会 要 求 你 输入 远程 主机 的 用 户 账户 
和 密码 。 在 Debian 设 备 中 执行 这 个 telnet 会 话 得 到 的 输出 如 下 所 示 : 








$ python 7 1 execute remote telnet cmd.py 
Enter remote hostname e.g. localhost: localhost 
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Enter your remote account: faruq 
Password: 


1s 

exit 

Last login: Mon Aug 12 10:37:10 BST 2013 from localhost on pts/9 
Linux debian6 2.6.32-5-686 41 SMP Mon Feb 25 01:04:36 UTC 2013 i686 


The programs included with the Debian GNU/Linux system are free software; 
the exact distribution terms for each program are described in the 
individual files in /usr/share/doc/*/copyright. 


Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent 
permitted by applicable law. 

You have new mail. 

faruqGdebian6:-$ 1s 


down Pictures Videos 
Downloads projects yEd 
Dropbox Public 

env readme.txt 

faruqGdebian6:-$ exit 

logout 


7.2.8 原理 分 析 


个 攻略 使 用 Python 内 置 的 kelnetlip 网 络 库 创 建 telnet 会 Wo run_telnet SPEREN 
"eb 二 中 获取 用 户 名 和 密码 。 获取 密码 使 用 的 是 getpass 模 块 中 的 getpass () 函数 , 这 
数 不 会 让 你 看 到 屏幕 中 输入 的 内 容 。 


为 了 创建 telnet 会 话 ， 需 要 实例 化 relnet 类 ， 初 始 化 时 要 指定 主机 名 参数 。 在 这 个 攻略 中 ， 
主机 名 是 localhost。 你 可 以 使 用 argparse 模 块 把 主机 名 传 给 脚本 。 


telnet 会 话 的 远程 输出 可 以 使 用 reag_unti1l () 方 法 获取 ,登录 提示 符 就 是 使 用 这 个 方法 检测 
到 的 。 然 后 ,使 用 write() 方 法 把 用 户 名 和 一 个 换 TS ACIER 从 远程 设备 (在 这 个 攻略 中 ,把 同一 
台 设 备 当做 远程 主机 )。 再 使 用 类 似 的 方式 把 密码 提供 给 远程 主机 。 


然后 ,把 ls 密令 发 送 给 远程 设备 执行 。 最 后 ,发送 exit 命 令 中 断 连 接 , 青 使 用 read_all () 
方法 获取 从 远程 主机 中 接收 的 全 部 会 话 数据 ， 将 其 打印 在 屏幕 上 。 





) PR 
^F PR 






































7.3 通过 SFTP 把 文件 复制 到 远程 设备 中 


如 果 想 安全 地 把 本 地 设备 中 的 文件 上 传 或 复制 到 远程 设备 中 , 可 以 使 用 “安全 文件 传输 协议 ” 
( Secure File Transfer Protocol, ， 简 称 SFTP )。 
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7.3.1 准备 工作 


这 个 攻略 要 使 用 一 个 强大 的 第 三 方 网 络 库 paramiko， 演示 如 何 使 用 SFTP 复 制 文件 ， 如 下 面 
的 命令 所 示 。paramiko 的 最 新 代码 可 以 从 GitHub ( https://github.com/paramiko/paramiko ) 上 获取 ， 
或 者 使 用 PyPI 安 装 : 


$ pip install paramiko 








7.3.2 ”实战 演练 


这 个 攻略 要 从 命令 行 中 接收 一 些 和 输入 值 , 包括 远程 主机 名 、 服 务 器 端口 、 源 文件 名 、 目 标 文 
件 名 。 简 单 起 见 ， 我 们 可 以 使 用 默认 值 或 者 硬 编 码 的 值 。 


连接 远程 服务 器 需要 用 户 名 和 密码 ， 这 两 个 值 可 以 从 用 户 在 命令 行 中 的 输入 获取 。 
代码 清单 7-2 说 明了 如 何 通过 SFTP 把 文件 复制 到 远程 主机 中 ， 如 下 所 示 : 
































d!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 7 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import argparse 
import paramiko 
import getpass 





SOURCE - '7 2 copy remote file over sftp.py' 
DESTINATION -'/tmp/7 2 copy remote file over sftp.py ' 











def copy file(hostname, port, username, password, src, dst): 
client - paramiko.SSHClient() 
client.load system host keys() 
print " Connecting to $s Mn with username-£s... Mn" £(hostname,username) 
t = paramiko.Transport((hostname, port)) 
t.connect (username-username,password-password) 
sftp = paramiko.SFTPClient.from transport (t) 
print "Copying file: %s to path: $s" $£(src, dst) 
sftp.put(src, dst) 
sftp.close() 





t.close() 
if name se 7 qain. s 
parser - argparse.ArgumentParser(description-'Remote file copy') 
parser.add argument('--host', action-"store", dest-"host", default-'localhost') 
parser.add argument('--port', action-"store", dest-"port", default-22, type-int) 
parser.add argument('--src', action-"store", dest-"src", default-SOURCE) 
( 


'--dst', action-"store", dest-"dst", default-DESTINATION) 





parser.add argument 


given args - parser.parse args() 
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hostname, port - given args.host, given args.port 
Src, dst - given args.src, given args.dst 





raw input("Enter the username:") 
getpass.getpass("Enter password for $s: " $username) 


username 
password 





copy file(hostname, port, username, password, src, dst) 
运行 这 个 脚本 后 ， 会 看 到 类 似 下 面 的 输出 : 


$ python 7 2 copy remote file over sftp.py 

Enter the username:faruq 

Enter password for faruq: 

Connecting to localhost 

with username-faruq... 

Copying file: 7 2 copy remote file over sftp.py to path: 
/tmp/7 2 copy remote file over sftp.py 











7.3.3 ”原理 分 析 
这 个 攻略 可 以 接收 不 同 的 输入 值 ， 然 后 连接 到 远程 设备 ， 通 过 SFTP 复 制 文件 。 


这 个 攻略 把 命令 tm 、 copy. file) KÆ, 然后 使 用 paramiko 库 中 的 ssHClient 
类 创建 一 个 SSH 客 户 端 。 这 个 客户 端 需 要 加 载 系统 的 主机 密 钥 。 然 后 创建 一 个 Transport 类 的 实 
例 ， 连 接 远 程 服务 需 。 iar 的 SFTP 连 接 对 象 sttp 由 paramiko 库 中 的 SFTPC1ient .from 
transport () 函数 创建 ， 其 参数 是 Transport 类 的 实例 。 


SFTP 连 接 好 之 后 ， 使 用 put () 方 法 借 由 这 个 连接 把 本 地 文件 复制 到 远程 主机 中 。 
最 后 ,分 别 在 各 个 对 象 上 调用 close () 方 法 ,清理 SFTP 连 接 和 底层 对 象 。 这 是 一 个 好 习惯 。 




















7.4 打印 远程 设备 的 CPU 信息 


有 时 ,我们 需要 通过 SSH 在 远程 设备 中 运行 一 个 简单 的 命令 。 例如， 查询 远程 设备 的 CPU 或 
RAM 信 息 。 这 种 操作 可 以 使 用 本 节 中 的 Python 脚本 完成 。 











7.4.1 准备 工作 


你 需要 安装 第 三 方 库 paramiko, 如 下 面 的 命令 所 示 。paramiko 的 源 代码 可 从 GitHub 仓 库 中 
获取 ， 地 址 为 https://github.com/paramiko/paramiko。 


$ pip install paramiko 
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7.4.2 ”实战 演练 
我 们 可 以 使 用 paramiko 模 块 创建 一 个 远程 会 话 连接 Unix 设 备 。 
然后 ， 通 过 这 个 会 话 ， 我 们 可 以 读 取 远程 设备 中 的 /proc/cpuinfo 文 件 ， 获 取 CPU 信 息 。 


代码 清单 7-3 是 打印 远程 设备 CPU 信 息 的 代码 ， 如 下 所 示 : 








#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 7 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import argparse 
import getpass 
import paramiko 


RECV BYTES - 4096 
COMMAND - 'cat /proc/cpuinfo' 











def print remote cpu info(hostname, port, username, password): 
client = paramiko.Transport((hostname, port)) 
client.connect(username-username, password-password) 


stdout data - [] 
stderr data - [] 
session = client.open channel (kind-'session') 
Ssession.exec command (COMMAND) 
while True: 
if session.recv ready(): 
stdout data.append(session.recv(RECV BYTES)) 
if session.recv stderr ready(): 
stderr data.append(session.recv stderr(RECV BYTES)) 
if session.exit status ready(): 

















break 
print 'exit status: ', session.recv exit status() 
print ''.join(stdout data) 
print ''.join(stderr data) 


session.close() 
client.close() 





if name ee 7 qain 's 
parser - argparse.ArgumentParser(description-'Remote file copy') 
parser.add argument('--host', action-"store", dest-"host", default-'localhost') 
parser.add argument('--port', action-"store", dest-"port", default-22, type-int) 
given args - parser.parse args() 
hostname, port - given args.host, given args.port 





username - raw input("Enter the username:") 
password - getpass.getpass("Enter password for $s: " $username) 
print remote cpu info(hostname, port, username, password) 
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这 个 脚本 后 会 显示 指定 主机 的 CPU 信息 ， 这 里 连接 的 是 本 地 设备 ， 如 下 所 示 : 


$ python 7 3 print remote cpu info.py 

Enter the username:faruq 

Enter password for faruq: 

exit status: 0 

processor: 0 

vendor id: GenuineIntel 

cpu family: 6 

model: 42 

model name: Intel(R) Core(TM) i5-2400S CPU @ 2.50GHz 
stepping: 7 

cpu MHz: 2469.677 

cache size: 6144 KB 

fdiv bug: no 

hlt bug: no 

f00f bug: no 

coma bug: no 

fpu: yes 

fpu exception: yes 

cpuid level: 5 

wp: yes 

flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca 
cmov pat pse36 clflush mmx fxsr sse sse2 syscall nx rdtscp lm constant 
tsc up pni monitor ssse3 lahf lm 

bogomips: 4939.35 

clflush size: 64 

cache alignment: 64 

address sizes: 36 bits physical, 48 bits virtual 
power management: 





7.4.8. 原理 分 析 
首先 ,收集 连 pugne 例如 主机 名 、 端 口号 、 用 户 名 和 密码 。 然 后 ， 把 这 些 参数 传 给 


print_remote_cpu_info () K 


在 这 个 函数 中 ， 使 用 paramiko 模 块 中 的 Transport 类 创建 了 一 个 SSH 客 户 端 会 话 。 然 后 使 
用 提供 的 用 户 名 和 密码 连接 远程 设备 。 我 们 可 以 在 SSH 客 户 端 上 调用 open_channel 0 方法 创建 
一 个 原始 通信 会 话 。 若 想 在 远程 主机 中 执行 命令 ， 可 以 使 用 exec_command ( ) 方 法 。 


把 命令 发 送 给 远程 主机 之 后 , 可 以 通过 封 阻 会 话 对 象 的 recv_ready 0 事件 来 获取 远程 主机 
的 响应 。 我 们 可 以 创建 两 个 列表 ，stdout_data 和 stderr_data， 用 来 存储 远程 主机 的 输出 和 
错误 消息 。 


命令 在 远程 设备 中 退出 时 ,可 以 使 用 exit_status_ready () 方 法 检测 到 。 接 收 到 的 远程 会 
话 数据 使 用 join () 方 法 串 接 起 来 。 


后 ， 分 别 在 各 对 象 上 调用 close () 方 法 ， 中 断 会 话 和 客户 端 连接 。 
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7.5 在 远程 主机 中 安装 Python € 


在 前 面 几 个 攻略 中 ， 你 可 能 注意 到 了 ， 在 远程 主机 中 执行 操作 时 ， 要 写 很 多 代码 建立 连接 。 
为 了 提高 执行 效率 ， 最 好 抽象 这 些 代码 ， 只 向 程序 员 开 放 相 对 高 级 的 操作 。 在 远程 设备 中 执行 命 
令 时 总 是 要 建立 连接 ， 这 个 过 程 很 繁琐 ， 也 浪费 时 间 。 


Fabric ( http://fabfile.org/ ) 这 个 Python 第 三 方 模块 可 以 解决 这 个 问题 。 它 只 开放 了 适当 数量 
的 API， 能 高 效 地 和 远程 设备 交互 。 


这 个 攻略 举 个 简单 的 例子 说 明 如 何 使 用 Fabric。 

















7.5.4 准备 工作 


首先 ,我 们 要 安装 Fabric。 你 可 以 使 用 Python 包 管 理工 上 QUOI aM MEE 如 下 面 
的 命令 所 示 。Fabric 依 赖 于 paramiko 模 块 ， 安 装 Fabric 时 会 自动 安装 paramiko。 





$ pip install fabric 


这 里 ,我 们 要 通过 SSH 协 议 连 接 远 程 主机 ， 所 以 必须 在 远程 主机 中 运行 SSH 服 务 器 。 如 果 想 
在 本 机 中 测试 (假装 是 连接 到 远程 设备 )， 可 以 在 本 地 安装 openssh 服 务 器 包 。 在 Debian/Ubuntu 
中 ， 可 以 使 用 包 管 理 需 apt-get 安 装 ， 如 下 面 的 命令 所 示 : 











$ sudo apt-get install openssh-server 


7.5.2 ”实战 演练 
面 这 段 代码 说 明了 如 何 使 用 Fabric 安 装 Python 包 。 
代码 清单 7-4 给 出 了 在 远程 主机 中 安装 Python 包 所 需 的 代码 ， 如 下 所 示 : 








#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 7 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


from getpass import getpass 
from fabric.api import settings, run, env, prompt 


def remote server(): 
env.hosts - ['127.0.0.1'] 
env.user - prompt('Enter user name: ') 
env.password - getpass('Enter password: ') 








def install package(): 
run("pip install yolk") 
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Fabric 脚 本 和 普通 Python 脚 本 的 运行 方式 不 一 样 。 使 用 fabric 库 定义 的 所 有 函数 都 要 保存 在 
一 个 名 为 fabfile.py 的 Python 脚本 中 。 在 这 个 脚本 中 , 没有 传统 的 _ main_ 指令 ,你 可 以 使 用 Fabric 
API 定 义 方 法 ,然后 使 用 命令 行 工 具 fab 执 行 。 因 此 ,我 们 不 使 用 python <script>.py 运 行 Fabric 
脚本 ， 而 是 在 当前 目录 中 创建 一 个 fabfile.py 脚 本 ， 然 后 执行 fab one function, name 


another function name; 


A, 我 们 来 按照 下 面 命令 中 的 方式 创建 fabfile.py 脚 本 。 为 了 简化 操作 ， 你 可 以 创建 文件 快 
捷 方 式 , 或 者 把 其 他 文件 链接 到 fabfile.py 脚 本 上 。 首 先 ， 删 除 前 面 创建 的 fabfile.py 文 件 ， 然 后 创 
建 一 个 指向 fabfile 的 快捷 方式 : 

















$ rm -rf fabfile.py 
$ 1n -s 7 4 install python package remotely.py fabfile.py 


如 果 运 行 fabfile， 在 远程 主机 中 安装 Python 包 yolk 后 会 生成 如 下 输出 : 








$ 1n -sfn 7 4 install python package remotely.py fabfile.py 
$ fab remote server install package 

Enter user name: faruq 

Enter password: 





[127.0.0.1] Executing task 'install package' 

[127.0.0.1] run: pip install yolk 

[127.0.0.1] out: Downloading/unpacking yolk 

[127.0.0.1] out: Downloading yolk-0.4.3.tar.gz (86kB): 
[127.0.0.1] out: Downloading yolk-0.4.3.tar.gz (86kB): 100% 86kB 
[127.0.0.1] out: Downloading yolk-0.4.3.tar.gz (86kB): 
[127.0.0.1] out: Downloading yolk-0.4.3.tar.gz (86kB): 86kB 
downloaded 

[127.0.0.1] out: Running setup.py egg info for package yolk 
[127.0.0.1] out: Installing yolk script to /home/faruq/env/bin 
[127.0.0.1] out: Successfully installed yolk 

[127.0.0.1] out: Cleaning up... 

[127.0.0.1] out: 

Done. 

Disconnecting from 127.0.0.1... done. 





7.5.8 原理 分 析 


个 攻略 演示 了 如 何 使 用 Python 脚本 在 远程 主机 中 执行 系统 管理 任务 。 这 个 脚本 中 定义 了 两 
ms remote_server () 国 数 设 定 Fabric 的 env 环 境 变量 ， 例 如 主机 名 、 用 户 和 名 和 密码 等 。 


另 一 个 函数 instal1_package () 调 用 run () 方 法 ， 其 参数 是 在 命令 行 中 输入 的 命令 。 在 这 
个 脚本 中 ， 执 行 的 命令 是 pip | yolk， 即 使 用 pip 安 装 Python 包 yolk。 和 前 面 的 攻略 相 
比 ， 使 用 Fabric 在 远程 主机 中 运行 命令 更 简单 也 更 高 效 。 
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7.6 在 远程 主机 中 运行 MySQL 命令 


如 果 你 需要 远程 管理 MySQL 服 务 器 ， 可 以 参考 这 个 攻略 。 这 个 攻略 会 告诉 你 如 何在 Python 
脚本 中 向 远程 MySQL 服 务 器 发 送 数据 库 命 令 。 如果 要 设置 一 个 使 用 数据 库 后 台 的 Web 应 用 , 这 个 
攻略 可 以 作为 设置 Web 应 用 过 程 中 的 一 部 分 。 














7.6.1 准备 工作 


这 个 攻略 也 需要 先 安装 Fabric。 你 可 以 使 用 Python 包 管理 工具 pip 或 easy_install 安 装 ,， 如 
下 面 的 命令 所 示 。Fabric 依 赖 于 paramiko 模 块 ， 安 装 Fabric 时 会 自动 安装 paramiko。 


$ pip install fabric 

这 里 ， 我 们 要 通过 SSH 协 议 连接 远程 主机 ， 所 以 必须 在 远程 主机 中 运行 SSH 服 务 器 。 远 程 主 
机 中 还 要 运行 MySQL 服 务 器 。 在 Debian/Ubuntu 中 ， 可 以 使 用 包 管 理 器 apt-get 安 装 openssh 和 
mysql 服 务 器 ， 如 下 面 的 命令 所 示 : 





$ sudo apt-get install openssh-server mysql-server 


7.6.0 ”实战 演练 


我 们 要 设 定 一 些 Fabric 环 境 变量 ， 再 定义 几 个 用 于 远程 管理 MySQL 的 函数 。 在 这 些 函 数 中 ， 
我 们 不 会 直接 使 用 可 执行 文件 mysql， 而 是 通过 echo 把 SQL 命 令 发 送 给 mysql。 这 么 做 能 确保 正 
确 地 把 参数 传递 给 mysql 可 执行 文件 。 


代码 清单 7-5 给 出 了 远程 运行 MySQL 命 令 所 需 的 代码 ， 如 下 所 示 : 























#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 7 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


from getpass import getpass 
from fabric.api import run, env, prompt, cd 


def remote server(): 
4$ Edit this list to include remote hosts 
env.hosts - ['127.0.0.1'] 
env.user - prompt('Enter your system username: ') 
env.password - getpass('Enter your system user password: ') 
env.mysqlhost - 'localhost' 
env.mysqluser - prompt('Enter your db username: ') 
env.mysqlpassword - getpass('Enter your db user password: ') 
env.db name = '' 














def show dbs(): 
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""" Wraps mysql show databases cmd""" 
q = "show databases" 
run("echo '$s' | mysql -u$s -p$s" $(q, env.mysqluser, env.mysqdlpassword)) 


def run sql(db name, query): 
""" Generic function to run sgl"'"" 
with cd('/tmp'): 
run ("echo '%s ' | mysql -u$s -p$s -D %s" % (query, env.mysqluser, env.mysqglpassword, 
db name)) 


def create db(): 
"""Create a MySQL DB for App version""" 
if not env.db name: 
db name - prompt("Enter the DB name:") 
else: 
db name - env.db name 
run('echo "CREATE DATABASE $s default character set utf8 collate 
utf8 unicode ci;"|mysql --batch --user-$s --password-$s --host-$s'VN 
$ (db name, env.mysqluser, env.mysqlpassword, env.mysqlhost), pty-True) 




















def 1s db(): 
""" List a dbs with size in MB "'"" 
if not env.db name: 
db name = prompt ("Which DB to ls?") 
else: 
db name - env.db name 
query - """SELECT table schema "DB Name", 
Round(Sum(data length + index length) / 1024 / 1024, 1) "DB Size in MB" 
FROM information schema.tables 
WHERE table schema = \"%s\" 
GROUP BY table schema """ $db name 
run sqgl(db name, query) 




















def empty db(): 
""" Empty all tables of a given DB """ 
db name - prompt("Enter DB name to empty:") 














cmd s """ 

(echo 'SET foreign key checks = 0;'; 

(mysqldump -ugs -p$s --add-drop-table --no-data $s 
echo 'SET foreign key checks = 1;') |A 





mysql -u$s -p$s -b $s 

""" $(env.mysgluser, env.mysqlpassword, db name, env.mysgluser, env.mysglpassword, 
db name) 

run(cmd) 


若 想 运行 这 个 脚本 ， 要 创建 一 个 快捷 方式 fabfile.py。 在 命令 行 中 执行 下 面 的 命令 可 以 完成 这 
一 操作 : 


$ 1n -sfn 7 5 run mysql command remotely.py fabfile.py 


然后 ， 可 以 使 用 fab 可 执行 文件 执行 不 同 的 操作 。 
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下 述 命令 显示 了 一 个 数据 库 列 表 ( 使 用 SQL 查询 show databases ): 





$ fab remote server show dbs 


下 述 命令 会 创建 一 个 新 的 MySQL 数 据 库 。 如 果 没 有 定义 Fabric 环 境 变量 qb_name， 会 显示 一 





个 提示 符 ， 要 求 输入 目标 数据 库 的 名 称 。 数 据 库 使 用 以 下 SQL 命令 创建 : 





CREATE DATABASE 





«database name» default character set utf8 collate utf8 unicode ci;。 


$ fab remote server create db 
这 个 Fabric 命 令 显示 数据 库 的 大 小 : 


$ fab remote server 1s db() 





下 面 这 个 Fabric 命 令 使 用 可 执行 文件 aysaldump 和 mysql 清 空 数据 库 。 这 个 函数 的 作用 和 数 


据 库 的 TRUNCATE 命 令 类 似 ， 只 不 过 同时 还 会 删除 所 有 表 。 
库 一 样 o 


$ fab remote server empty db() 


各 命令 的 输出 如 下 : 





$ fab remote server show dbs 


[127.0.0.1] Executing task 'show dbs' 
[127.0.0.1] run: echo 'show databases' 
[127.0.0.1] out: Database 

[127.0.0.1] out: information schema 
[127.0.0.1] out: mysql 

[127.0.0.1] out: phpmyadmin 
[127.0.0.1] out: 

Done. 

Disconnecting from 127.0.0.1... done. 


$ fab remote server create db 
[127.0.0.1] Executing task 'create db' 
Enter the DB name: test123 

[127.0.0.1] run: echo 





结果 就 像 新 建 一 个 没有 任何 表 的 数据 


| mysql -uroot -p«DELETED» 


"CREATE DATABASE test123 default character set utf8 


collate utf8 unicode ci;"|mysql --batch --userzroot --password-«DELETED» 


--hostzlocalhost 


Done. 
Disconnecting from 127.0.0.1... done. 


$ fab remote server show dbs 


[127.0.0.1] Executing task 'show dbs' 
[127.0.0.1] run: echo 'show databases' 
[127.0.0.1] out: Database 

[127.0.0.1] out: information schema 


| mysql -uroot -p«DELETED» 
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[127.0.0.1] out: collabtive 
[127.0.0.1] out: test123 

[127.0.0.1] out: testdb 

[127.0.0.1] out: 

Done. 

Disconnecting from 127.0.0.1... done. 


7.6.3 原理 分 析 

这 个 脚本 定义 了 Fabric 使 用 的 几 个 函数 。 第 一 个 函数 remote_server () 设 定 环境 变量 。 本 地 
回 送 耻 (127.0.0.1 ) 保存 在 主机 列表 中 。 本 地 系统 的 用 户 密 码 和 MySQL 登 录 密码 通过 getpass () 
方法 获取 。 

另 一 个 函数 利用 Fabric 中 的 run() 函数 ， 把 MySQL 命 令 回 显 给 mysql 可 执行 文件 ， 发 送 给 远 
程 MySQL 服 务 器 。 

run sql () 函数 是 个 通用 函数 , 作为 一 个 包装 函数 , 可 在 其 他 函数 中 使 用 。 例 如 , TEempty. ab () 
函数 中 调用 了 run_sal ( ) 函数 执行 SQL 命令 。 这 么 做 可 以 让 代码 变 得 更 有 序 、 更 简洁 。 











7.7 ”通过 SSH 把 文件 传输 到 远程 设备 中 


使 用 Fabric 执 行 远程 系统 管理 任务 时 ， 如 果 想 通过 SSH 把 本 地 设备 中 的 文件 传输 到 远程 设备 
中 ， 可 以 使 用 Fabric 内 置 的 get () 和 put () 函数 。 这 个 攻略 向 你 展示 如 何 定 义 函 数 传输 文件 ， 并 
且 在 传输 前 后 检查 硬盘 空间 。 


























7.7.1 准备 工作 

这 个 攻略 也 需要 先 安装 Fabric。 你 可 以 使 用 Python 包 管理 工具 pip 或 easy_install 安 装 ， 如 
下 面 的 命令 所 示 : 

$ pip install fabric 


这 里 ,我们 要 通过 SSH 协 议 连 接 远 程 主机 ， 所 以 必须 在 远程 主机 中 安装 并 运行 SSH 服 务 右 。 





7.7.2 ”实战 演练 

我 们 先 要 为 Fabric 设 定 环境 变量 ， 然 后 再 定义 两 个 函数 ， 一 个 用 于 下 载 文 件 ， 另 一 个 用 于 上 
传 文件 。 

代码 清单 7-6 是 通过 SSH 把 文件 传输 到 远程 设备 中 所 需 的 代码 ， 如 下 所 示 : 
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d!/usr/bin/env python 


# Python Network Programming Cookbook -- Chapter - 7 


# This program is optimized for Python 2.7. 


# It may run on any other version with/without modifications. 


from getpass import getpass 


from fabric.api import local, 


def 


def 


def 


def 


Ti 
一 操作 : 


run, env, get, put, prompt, open shell 


remote server(): 





env.hosts - ['127.0.0.1'] 

env.password - getpass('Enter your system password: ') 
env.home folder - '/tmp' 

login(): 


open shell(command-"cd £s" $env.home folder) 


download file(): 








print "Checking local disk space..." 

local("df -h") 

remote path - prompt("Enter the remote file path:") 
local path = prompt("Enter the local file path:") 
get(remote path-remote path, local. path-1local path) 
local("l1s $s" $£1ocal path) 


upload file(): 








print "Checking remote disk space..." 

run("df -h") 

local path = prompt("Enter the local file path:") 

remote path - prompt("Enter the remote file path:") 

put(remote path-remote path, local path-local. path) 

run("ls $s" £remote path) 

有 运行 这 个 脚本 ， 要 创建 一 个 快捷 方式 fabfile.py。 在 命令 行 中 执行 下 面 的 命令 可 以 完成 这 


$ 1n -sfn 7 6 transfer file over ssh.py fabfile.py 


然后 





首先 ， 





， 可 以 使 用 fab 可 执行 文件 执行 不 同 的 操作 。 
若 想 使 用 这 个 脚本 登录 远程 服务 器 ， 可 以 运 和 





行 下 面 这 个 Fabric 函 数 : 


$ fab remote server login 


执行 
服务 器 下 





上 述 命令 后 会 看 到 一 个 类 似 shell 的 微型 环境 。 然 后 ,可 以 使 用 下 面 的 命令 把 文件 从 远程 
载 到 本 地 设备 中 : 





$ fab remote server download file 


类 似 


地 ， 上 传 文件 可 以 使 用 下 面 这 个 命 


命令 : 


$ fab remote server upload file 
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运 和 


在 这 个 例子 中 ， 我 们 通过 SSH 连 接 本 地 设备 。 iue 你 要 在 本 地 设备 中 安装 SSH 服 务 器 才能 
这 个 脚本 。 不 然 ， 你 可 以 修改 remote_server O 函数 ， 改 成 连接 到 远程 主机 ， 如 下 所 示 : 








$ fab remote server login 
[127.0.0.1] Executing task 'login' 
Linux debian6 2.6.32-5-686 41 SMP Mon Feb 25 01:04:36 UTC 2013 i686 


The programs included with the Debian GNU/Linux system are free software; 
the exact distribution terms for each program are described in the 
individual files in /usr/share/doc/*/copyright. 


Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent 
permitted by applicable law. 

You have new mail. 

Last login: Wed Aug 21 15:08:45 2013 from localhost 

cd /tmp 

faruqGdebian6:-$ cd /tmp 

faruqQGdebian6:/tmp$ 


<CTRL+D> 
faruq@debian6:/tmp$ logout 


Done. 
Disconnecting from 127.0.0.1... done. 


$ fab remote_server download_file 
[127.0.0.1] Executing task 'download_file' 
Checking local disk space... 

[localhost] local: df -h 


Filesystem Size Used Avail Use% Mounted on 
/dev/sda1 62G 47G 12G 81% / 

tmpfs 506M 0 506M 0% /lib/init/rw 
udev 501M 160K 501M 1% /dev 

tmpfs 506M 408K 505M 1% /dev/shm 
Z_DRIVE 1012G 944G 69G 94% /media/z 
C_DRIVE 466G 248G 218G 54% /media/c 


Enter the remote file path: /tmp/op.txt 

Enter the local file path: . 

[127.0.0.1] download: chapter7/op.txt <- /tmp/op.txt 

[localhost] local: ls . 

7_1_execute_remote_telnet_cmd.py 7_3_print_remote_cpu_info.py 

7 5 run mysql command remotely.py 7 7 configure Apache for hosting 




















website remotely.py  fabfile.pyc _ init__.py test.txt 

7 2 copy remote file over sftp.py 7 4 install python package 
remotely.py 7 6 transfer file over ssh.py fabfile.py 
index.html op.txt vhost.conf 

Done. 


Disconnecting from 127.0.0.1... done. 
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7.7.3 原理 分 析 


在 这 个 攻略 中 ,用 到 了 几 个 Fabric 内 置 的 函数 ,在 本 地 设备 和 远程 设备 之 间 传 输 文 件 。local () 
函数 在 本 地 设备 中 执行 操作 ，run () 函数 在 远程 设备 中 执行 操作 。 


在 上 传 和 下 载 文件 前 最 好 先 检查 目标 设备 中 的 可 用 硬盘 空间 。 


这 个 操作 使 用 Unix 命 令 af 实 现 。 源 文件 和 目标 文件 的 路 径 可 以 在 命令 行 中 指定 , 也 可 人 硬 编码 
在 源 文件 中 ， 以 备 无 人 值守 时 自动 执行 。 











7.8 远程 配置 Apache 运行 网 站 


Fabric 函 数 可 以 以 普通 用 户 身 份 运行 ， 也 可 以 超级 用 户 身 份 运行 。 如 果 想 在 远程 Apache 服 务 
器 上 运行 网 站 ， 需 要 管理 员 权 限 才 能 创建 配置 文件 以 及 重启 Web 服 务 器 。 这 个 攻略 介绍 Fabric 的 
sudo () 函数 , 以 超级 用 户 身 份 在 远程 设备 中 执行 命令 。 这 里 , 我 们 要 配置 运行 网 站 所 需 的 Apache 
虚拟 主机 。 














7.8.1 准备 工作 


这 个 攻略 需要 先 在 本 地 设备 中 安装 Fabric。 你 可 以 使 用 Python 包 管理 工具 pip 或 easy_ 
install 安 装 ， 如 下 面 的 命令 所 示 : 





$ pip install fabric 

这 里 ， 我 们 要 通过 SSH 协 议 连接 远程 主机 ， 所 以 必须 在 远程 主机 中 安装 并 运行 SSH 服 务 器 。 
远程 主机 中 还 需要 安装 和 运行 Apache Web 服 务 器 。 在 Debian/Ubuntu 中 ， 可 以 使 用 包 管 理 器 
apt-get 安 装 ， 如 下 面 的 命令 所 示 





$ sudo apt-get install openssh-server apache2 


7.8.2 ”实战 演练 


首先 ,我 们 要 知道 Apache 的 安 闭路 径 和 一 些 配置 参数 ,例如 Web 服 务 器 的 用 户 、 用 户 组 、 虚 
拟 主 机 配置 文件 的 路 径 和 初始 化 脚本 。 这 些 参 数 可 以 定义 为 常量 。 


然后 ， 定 义 两 个 水 数 ，remote_server () 和 setup_vhost () ， 使 用 Fabric 执 行 Apache 配 置 
任务 。 


代码 清单 7-7 是 远程 配置 Apache 运 行 网 站 所 需 的 代码 ， 如 下 所 示 : 
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d$!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 7 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


from getpass import getpass 
from fabric.api import env, put, sudo, prompt 
from fabric.contrib.files import exists 


WWW DOC ROOT - "/data/apache/test/" 

WWW USER = "www-data" 

WWW GROUP = "www-data" 

APACHE SITES PATH - "/etc/apache2/sites-enabled/" 
APACHE INIT SCRIPT - "/etc/init.d/apache2 " 














def remote server(): 
env.hosts - ['127.0.0.1'] 
env.user = prompt('Enter user name: ') 
env.password - getpass('Enter your system password: ') 








def setup vhost(): 
""" Setup a test website """ 
print "Preparing the Apache vhost setup..." 


print "Setting up the document root..." 
if exists (WWW DOC ROOT): 

sudo("rm -rf $s" $WWW DOC ROOT) 
sudo ("mkdir -p $s" $WWW DOC ROOT) 


# setup file permissions 
sudo("chown -R $s.$s $s" $(env.user, env.user, WWW DOC ROOT)) 


# upload a sample index.html file 
put(local path-"index.html", remote path-WWW DOC ROOT) 
sudo ("chown -R $s.$s $s" $(WWW USER, WWW GROUP, WWW DOC ROOT)) 





print "Setting up the vhost..." 





sudo ("chown -R $s.$s $s" $(env.user, env.user, APACHE SITES PATH)) 





# upload a pre-configured vhost.conf 
put(local path-"vhost.conf", remote path-APACHE SITES PATH) 
sudo ("chown -R $s.$s $s" $('root', 'root', APACHE SITES PATH)) 























# restart Apache to take effect 
sudo ("%s restart" £APACHE INIT SCRIPT) 





print "Setup complete. Now open the server path http://abc.remote-server.org/ in 


your web browser." 
为 了 运行 这 个 脚本 ， 要 把 下 面 这 行 加 入 主机 文件 中 ， 例 如 /etc/hosts : 
127.0.0.1 abc.remote-server.org abc 


还 要 创建 快捷 方式 fabfile.py。 在 命令 行 中 ， 可 以 使 用 下 面 的 命令 完成 : 
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$ 1n -sfn 7 7 configure Apache for hosting website remotely.py fabfile.py 
然后 ， 可 以 使 用 fab 可 执行 文件 执行 不 同 的 操作 。 
若 想 使 用 这 个 脚本 登录 远程 服务 器 ， 可 以 运行 下 面 这 个 Fabric 函 数 。 得 到 的 输出 结 





首先 ， 
如 下 : 











$ fab remote server setup vhost 
[127.0.0.1] Executing task 'setup vhost' 
Preparing the Apache vhost setup... 
Setting up the document root... 


[127. 
[127. 
[127. 
[127. 
[127. 


0. 
0. 
0. 
0. 
0. 


.1] 
.1] 
.1] 
.1] 
.1] 


ooooo 


sudo: rm -rf /data/apache/test/ 

sudo: mkdir -p /data/apache/test/ 

sudo: chown -R faruq.faruq /data/apache/test/ 

put: index.html -> /data/apache/test/index.html 
sudo: chown -R www-data.www-data /data/apache/test/ 


Setting up the vhost... 


[127.0.0 
[127.0.0 
[127.0.0.1] 
[127.0.0 
[127.0.0 
reliably 


.1] 
.1] 


.1] 
.1] 


sudo: chown -R faruq.faruq /etc/apache2/sites-enabled/ 
put: vhost.conf -» /etc/apache2/sites-enabled/vhost.conf 
sudo: chown -R root.root /etc/apache2/sites-enabled/ 
sudo: /etc/init.d/apache2 restart 

out: Restarting web server: apache2apache2: Could not 


determine the server's fully qualified domain name, using 


127.0.0.1 for ServerName 

[127.0.0.1] out: ... waiting apache2: Could not reliably determine the 
server's fully qualified domain name, using 127.0.0.1 for ServerName 
[127.0.0.1] out: 

[127.0.0.1] out: 


Setup complete. Now open the server path http://abc.remote-server.org/ in your web 
browser. 


Done. 


Disconnecting from 127.0.0.1... done. 


运行 这 个 脚本 之 后 ， 你 可 以 打开 浏览 器 ,访问 主机 文件 ( 例如 /etc/hosts ) 中 设 定 的 路 径 。 在 
浏览 器 中 会 看 到 如 下 输出 : 


It works! 
This is the default web page for this server. 
The web server software is running but no content has been added, yet. 


7.8.8 ”原理 分 析 


这 个 攻略 把 初始 的 Apache 配 置 参数 设置 为 常量 ,然后 定义 了 两 个 函数 ,在 remote_server 














函数 中 ， 和 往常 一 样 ， 设 定 了 Fabric 环 境 参 数 ， 例 如 主机 、 用 户 名 和 密码 等 。 


setup_vhost () 函数 执行 了 一 系列 需要 特殊 权限 的 命令 。 首 先 ,使 用 exists () 函数 检查 


和 否 已 经 创建 了 网 站 的 文档 根 目 录 。 如 果 该 路 径 存 在 ， 就 将 其 删除 ,在 下 一 步 中 重新 创建 。 然 后 














(2 


Ei 
AE 
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执行 chown 命 令 ， 确 保 当前 用 户 有 权 访 问 这 个 路 径 。 

接着 ， 把 一 个 骨架 HTML 文 件 (index.html ) 上 传 到 文档 根 路 径 中 。 上 传 后 ， 再 把 文件 的 访问 
权限 赋予 Web 服 务 器 用 户 。 

设置 好 文档 根 目 录 后 ，setup_vhost () 函数 把 vhost,conf 文 件 上 传 到 Apache 的 网 站 配置 路 径 
中 ， 然 后 把 这 个 文件 的 拥有 者 设 为 根 用 户 。 


最 后 ， 这 个 脚本 重启 Apache 服 务 器 ,让 配置 生效 。 如 果 配 置 正确 ,你 会 在 浏览 器 中 看 到 前 面 
访问 http://abc.remote-server.org/ 时 显示 的 内 容 。 
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使 用 Web 服 务 : XML-RPC, 
SOAP 和 REST 








本 章 攻略 : 


O 查询 本 地 XML-RPC 服 务 器 

口 编写 一 个 多 线程 、 多 调用 XML-RPC 服 务 器 

O 运行 一 个 支持 HTTP 基 本 认证 的 XML-RPC 服 务 器 
口 使 用 REST 从 Flickr 中 收集 一 些 照 片 信息 

口 找 出 亚马逊 $S3 Web 服 务 支持 的 SOAP 方 法 

口 使 用 谷歌 搜索 定制 信息 

口 通过 商品 搜索 API 在 亚马逊 中 搜索 图 书 











8.1 简介 


本 章 介绍 一 些 有 趣 的 Python 攻略 ， 通 过 三 种 不 同 的 方式 使 用 Web 服 务 。 这 三 种 方式 是 “XML 
远程 过 程 调用 ”( XML Remote Procedure Call， 简 称 XML-RPC )、“ 简 单 对 象 访问 协议 ”( Simple 
Object Access Protocol， 简 称 SOAP ) 和 “表现 层 状态 转化 ”( Representational State Transfer， 简 称 
REST )。Web 服 务 的 目的 ， 是 让 两 个 软件 组 件 通过 精心 设计 的 协议 在 网 络 中 交互 。 接 口 是 机 器 可 
读 的 。 多 种 不 同 的 协议 为 Web 服 务 的 使 用 提供 了 便利 。 


本 章 包含 这 三 种 常用 协议 的 示例 。XML-RPC 使 用 HTTP 作 为 传输 媒介 ， 使 用 XML 格式 的 内 
容 通信 。 实 现 XML-RPC 的 服务 器 等 待 适 配 的 客户 端 调用 。 客 户 端 使 用 不 同 的 参数 调用 服务 器 ， 
执行 远程 过 程 。XML-RPC 较 为 简单 ， 但 安全 性 不 高 。SOAP 有 一 组 丰富 的 协议 ， 用 于 增强 远程 
过 程 调用 。REST 是 一 种 架构 风格 ， 让 Web 服 务 变 得 简单 。REST 架 构 中 的 操作 使 用 HTTP 请 求 方 
法 完成 ， 即 GET、POST、PUT 和 DELETE。 本 章 介 绍 这 些 Web 服 务 协议 和 风格 的 用 法 ， 完 成 一 些 
常见 任务 。 
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8.2 查询 本 地 XML-RPC 服务 器 


如 果 你 经 常 做 Web 编 程 ， 可 能 会 遇 到 这 样 的 任务 : 从 支持 XML-RPC 服 务 的 网 站 中 获取 一 些 
信息 。 在 深入 介绍 XML-RPC 服 务 之 前 ， 我 们 先 架 设 一 个 XML-RPC 服 务 峰 并 和 它 通 信 。 


8.2.1 准备 工作 

这 个 攻略 要 使 用 Python Supervisor 程 序 。Supervisor 广 泛 用 于 启动 和 管理 可 执行 程序 。 
Supervisor 可 以 作为 后 台 守 护 进 程 运行 ， 能 监控 子 进程 ， 且 子 进程 意 外 退出 后 能 重启 子 进程 。 执 
行 下 面 的 命令 即 可 安装 Supervisor: 





$ pip install supervisor 


8.2.2 ”实战 演练 


我 们 要 为 Supervisor 创 建 一 个 配置 文件 ,这 个 攻略 中 提供 了 一 个 示例 配置 ,定义 了 一 个 Unix HTTP 
服务 器 套 接 字 和 一 些 其 他 参数 。 注 意 rpcinterface:supervisor 部 分 ， 其 中 rpcinterface_ 
factory 是 用 来 和 客户 端 通信 的 。 


在 program:8_2 multithreaded multicall xmlrpc_server.py 部 分 ,我 们 使 用 
Supervisor 配 置 了 一 个 简单 的 服务 器 程序 ， 指 定 了 命令 和 一 些 其 他 参数 。 


代码 清单 8-1a 是 一 个 简单 的 Supervisor 配 置 ， 如 下 所 示 : 








[unix http server] 


file-/tmp/supervisor.sock ; (the path to the socket file) 
chmod-0700 ; Socket file mode (default 0700) 
[supervisord] 


logfile-/tmp/supervisord.log 
loglevel-info 
pidfile-/tmp/supervisord.pid 
nodaemon-true 


[rpcinterface:supervisor] 
supervisor.rpcinterface factory - supervisor.rpcinterface:make main rpcinterface 


[program:8 2 multithreaded multicall xmlrpc server.py] 
command-python 8 2 multithreaded multicall xmlrpc server.py ; the program (relative s= 


uses PATH, can take args) 
process_name=% (program name)s ; process name expr (default %(program_name)s) 


如 果 在 你 最 喜欢 的 编辑 器 中 创建 上 述 Supervisor 配 置 文件 ,调用 这 个 文件 就 可 以 运行 Supervisor。 





现在 , 我 们 可 以 编写 一 个 XML-RPC 客 户 端 , 作为 Supervisor 的 代理 , 获取 运行 中 的 进程 信息 。 
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m 

















代码 清单 8-1b 是 查询 XML-RPC 本 地 服务 器 的 代码 ， 如 下 所 示 : 


#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 8 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import supervisor.xmlrpc 
import xmlrpclib 


def query supervisr(sock): 
transport = supervisor.xmlrpc.SupervisorTransport (None, None, 
'unix://$s' $sock) 
proxy - xmlrpclib.ServerProxy('http://127.0.0.1', 
transport-transport) 
print "Getting info about all running processes via Supervisord..." 
print proxy.supervisor.getAllProcessInfo() 


if name ses c qain "i 
query supervisr(sock-'/tmp/supervisor.sock') 


运行 这 个 Supervisor 守 护 进程 ， 会 看 到 类 似 下 面 的 输出 : 





chapter8$ supervisord 

2013-09-27 16:40:56,861 INFO RPC interface 'supervisor' initialized 
2013-09-27 16:40:56,861 CRIT Server 'unix http server' running 
without any HTTP authentication checking 

2013-09-27 16:40:56,861 INFO supervisord started with pid 27436 
2013-09-27 16:40:57,864 INFO spawned: 

'8 2 multithreaded multicall xmlrpc server.py' with pid 27439 
2013-09-27 16:40:58,940 INFO success: 

8 2 multithreaded multicall xmlrpc server.py entered RUNNING state, 
process has stayed up for » than 1 seconds (startsecs) 


注意 ， 运 行 后 启动 了 子 进 程 8_2_multithreaded multicall xmlrpc server.py.; 


现在 ， 如 果 运 行 客户 端 代码 ， 它 会 查询 Supervisor 的 XML-RPC 服 务 器 接口 ， 列 出 运行 中 的 进 
， 如 下 所 示 : 


$ python 8 1 query xmlrpc server.py 

Getting info about all running processes via Supervisord... 
[('now': 1380296807, 'group': 

'8 2 multithreaded multicall xmlrpc server.py', 'description': 'pid 
27439, uptime 0:05:50', 'pid': 27439, 'stderr logfile': 

'/tmp/8 2 multithreaded multicall xmlrpc server.py-stderr--- 
supervisor-i VmKz.log', 'stop': 0, 'statename': 'RUNNING', 'start': 
1380296457, 'state': 20, 'stdout logfile': 

'/tmp/8 2 multithreaded multicall xmlrpc server.py-stdout--- 
supervisor-eMuJqk.log', 'logfile': 

'/tmp/8 2 multithreaded multicall xmlrpc server.py-stdout--- 
supervisor-eMuJqk.log', 'exitstatus': 0, 'spawnerr': '', 'name': 

'8 2 multithreaded multicall xmlrpc server.py')] 
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8.2.3 ”原理 分 析 


这 个 攻略 要 在 后 台 运 行 Supervisor 守 护 进 程 (通过 rpcinterface 配 置 )。Supervisor 会 启动 另 
一 个 XML-RPC 服 务 器 ， 即 8_2 multithreaded multicall xmlrpc_server.py。 


客户 端 代 码 中 定义 了 auery_supervisz () 方 法 ,其 参数 是 Supervisor 套 接 字 。 在 这 个 方法 中 ， 
使 用 Unix 套 接 字 路 径 创 建 了 一 个 supervisorTransport 实 例 。 然 后, 实例 化 xmlrpclib 模 块 中 
的 ServerProxy 类 创建 了 一 个 XML-RPC 服 务 器 代理 。 传 给 ServerProxy 类 构造 方法 的 参数 是 服 
务 器 地 址 和 前 面 创建 的 Lransport。 


随后 ， XML-RPC 服 务 器 代理 调用 Supervisor 中 的 getAllProcessInfo OD, F 
言 息 打印 出 来 。 打 印 的 信息 包括 pida、statename 和 aqescription 等 。 

















于 进程 的 





[È 





8.3 ”编写 一 个 多 线程 、 多 调用 XML-RPC 服务 器 

你 可 以 让 你 的 XML-RPC 服 务 器 同时 接受 多 个 调用 。 这 意味 着 ， 多 个 函数 调用 可 以 只 返回 一 
个 结果 。 MH, 如 果 服 务 咒 支持 多 线程 , 服务 器 局 动 后 还 能 在 单个 线程 中 执行 更 多 的 代码 。 此 时 ， 
程序 的 主线 程 处 于 非 阻塞 模式 中 。 














8.3.1 实战 演练 


我 们 可 以 定义 一 个 serverThread 类 ,继承 自 threadqing.Threadq 类 ， 而 且 还 可 以 把 这 个 类 
的 一 个 属性 设 为 SimpleXMLRPCServer 实 例 。 这 样 就 能 接受 多 个 调用 了 。 


然后 ， 我 们 可 以 定义 两 个 函数 : 一 个 用 来 启动 多 线程 、 多 调用 XML-RPC 服 务 嚣 ， 男 一 个 用 
于 创建 连接 服务 器 的 客户 端 。 





代码 清单 8-2 是 编写 多 线程 、 多 调用 XML-RPC 服 务 器 所 需 的 代码 ， 如 下 所 示 : 




















d$!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 8 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import argparse 

import xmlrpclib 

import threading 

from SimpleXMLRPCServer import SimpleXMLRPCServer 
# some trivial functions 


def add(x,y): 
return X+Y 
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def subtract(x, y): 
return x-y 


def multiply(x, y): 
return x*y 


def divide(x, y): 
return x/y 


class ServerThread(threading.Thread): 
def | init (self, server addr): 
threading.Thread. init (self) 





self.server = SimpleXMLRPCServer(server addr) 
self.server.register multicall functions() 
self.server.register function(add, 'add') 
self.server.register function(subtract, 'subtract') 
self.server.register function(multiply, 'multiply') 
self.server.register function(divide, 'divide') 

def run(self): 
self.server.serve forever() 





def run server(host, port): 
# server code 


server addr - (host, port) 
Server = ServerThread(server addàr) 
server.start() # The server is now running 


print "Server thread started. Testing the server..." 


def run client(host, port): 
# client code 
proxy = xmlrpclib.ServerProxy("http://$s:$s/" £(host, port)) 
multicall = xmlrpclib.MultiCall (proxy) 
multicall.add(7,3) 
multicall.subtract(7,3) 
multicall.multiply(7,3) 
multicall.divide(7,3) 
result - multicall() 
print "7+3=%d, 7-3-$d, 7*3-$d, 7/3-$à" % tuple(result) 


if name em * main ': 
parser - argparse.ArgumentParser(description-'Multithreaded multicall XMLRPC 
Server/Proxy') 





parser.add argument('--host', action-"store", dest-"host", default-'localhost') 
parser.add argument('--port', action-"store", dest-"port", default-8000, 
type-int) 


# parse arguments 

given args - parser.parse args() 

host, port = given args.host, given args.port 
run,  server(host, port) 

run client(host, port) 


运行 这 个 脚本 后 ， 会 看 到 类 似 下 面 的 输出 : 
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$ python 8 2 multithreaded multicall xmlrpc server.py --port-8000 
Server thread started. Testing the server... 

localhost - - [25/Sep/2013 17:38:32] "POST / HTTP/1.1" 200 - 
7*3-210, 7-324, 7*3-21, 7/3-2 


8.32 原理 分 析 


在 这 个 攻略 中 ， 我 们 定义 了 serverThread 类 ， 继承 自 Python 线 程 库 中 的 Thread 类 。 这 个 子 
类 初始 化 时 把 server 属 性 设 为 一 个 SimplJexMLRPCServer 服 务 吕 实例 .XML-RPC 服 务 顺 的 地 址 
可 以 在 命令 行 中 指定 。 为 了 启用 多 调用 功能 , 我 们 在 服务 器 实例 上 调用 了 register_multical1_ 
functions () 方 法 。 





然后 把 四 个 简单 的 函数 注册 到 XML-RPC 服 务 器 上 : add(). subtract(), 、multiply() 和 
divide()。 这 几 个 函数 的 作用 正如 其 名 称 所 示 。 


为 了 启动 服务 器 ， 要 把 主机 和 端口 传 给 run_server () 函数 。 在 这 个 函数 中 ,使 用 前 面 说 明 
的 ServerThread 类 创建 了 一 个 服务 器 实例 。 然 后 在 这 个 服务 器 实例 上 调用 start () 方 法 启动 
XML-RPC 服 务 器 。 


HAE Pm. run client O 函数 同样 从 命令 行 中 获取 主机 和 端口 。 然 后 使 用 xmlrpclib 
中 的 ServerProxy 类 创建 一 个 XML-RPC 服 务 器 代理 实例 。 再 把 这 个 代理 实例 传 给 Multicall 
类 ， 创 建 一 个 实例 multicall。 现 在 ， 可 以 运行 前 面 定 义 的 四 个 RPC 方 法 了 ， 即 aqq() 、 
subtract () 、multiply() 和 diviqde()。 最 后 ,我 们 只 通过 一 次 调用 (multicall() ) 获取 
结果 ， 再 把 结果 中 的 元 组 在 一 行 中 打印 出 来 。 












































8.4 运行 一 个 支持 HTTP 基本 认证 的 XML-RPC 服务 器 

有 时 ， 你 需要 在 XML-RPC 服 务 器 中 实现 认证 功能 。 这 个 攻略 介绍 了 一 个 简单 的 示例 ， 说 明 
如 何在 XML-RPC 服 务 右 中 实现 HTTP 基 本 认证 。 
8.4.. 实战 演练 


我 们 可 以 定义 一 个 SimpleXMLRPCServez 类 的 子 类 ， 重 新 定义 请 求 处 理 方法 ， 以 便当 请 求 
进入 时 ， 和 指定 的 登录 凭据 比 对 。 


代码 清单 8-3a 是 在 XML-RPC 服 务 器 中 实现 HTTP 基 本 认证 的 代码 ， 如 下 所 示 : 





d$!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 8 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 
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import argparse 

import xmlrpclib 

from base64 import b64decode 

from SimpleXMLRPCServer import SimpleXMLRPCServer, SimpleXMLRPCRequestHandler 


class SecureXMLRPCServer (SimpleXMLRPCServer): 


def | init (self, host, port, username, password, *args, **kargs): 
Self.username - username 
self.password - password 
# authenticate method is called from inner class 
class VerifyingRequestHandler (SimpleXMLRPCRequestHandler): 
4$ method to override 
def parse request(request): 
ifNSimpleXMLRPCRequestHandler.parse request(request): 
# authenticate 
if self.authenticate(request.headers): 
return True 
else: 
# if authentication fails return 401 
request.send error(401, 'Authentication failed, Try agin.') 
return False 
# initialize 
SimpleXMLRPCServer. init (self, (host, port), 


requestHandler-VerifyingRequestHandler, *args, **kargs) 


def authenticate(self, headers): 
headers - headers.get('Authorization').split() 
basic, encoded - headers[0], headers[1] 
if basic != 'Basic': 
print 'Only basic authentication supported' 
return False 
secret = b64decode(encoded).split(':') 
username, password - secret[0], secret[1] 
return True if (username -- self.username and password -- self.password) else 


False 


def run server(host, port, username, password): 


server - SecureXMLRPCServer(host, port, username, password) 
# simple test function 
def echo (msg): 
"""Reply client in  uppser case """ 
reply = msg.upper() 
print "Client said: $s. So we echo that in uppercase: $s" £$(msg, reply) 
return reply 
server.register function(echo, 'echo') 
print "Running a HTTP auth enabled XMLRPC server on %s:%s..." £(host, port) 
server.serve forever() 





if name == * main ': 
parser - argparse.ArgumentParser(description-'Multithreaded multicall XMLRPC 
Server/Proxy') 


parser.add argument('--host', action-"store", dest-"host", default-'localhost') 
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parser.add argument('--port', action-"store", dest-"port", default-8000, type-int) 
parser.add argument('--username', action-"store", dest-"username", default-'user') 
parser.add argument('--password', action-"store", dest-"password", default-'pass') 


# parse arguments 

given args - parser.parse args() 

host, port - given args.host, given args.port 

username, password - given args.username, given args.password 
run server(host, port, username, password) 


运行 这 个 脚本 后 ， 黑 认 会 看 到 如 下 输出 : 


$ python 8 3a xmlrpc server with http auth.py 

Running a HTTP auth enabled XMLRPC server on localhost:8000... 
Client said: hello server.... So we echo that in uppercase: HELLO 
SERVER... 

localhost - - [27/Sep/2013 12:08:57] "POST /RPC2 HTTP/1.1" 200 - 


现在 ， 我 们 来 创建 一 个 简单 的 客户 端 代理 ， 使 用 的 登录 凭据 和 服务 器 一 样 。 
代码 清单 8-3b 是 XML-RPC 客 户 端的 代码 ， 如 下 所 示 : 











d$!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 8 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import argparse 
import xmlrpclib 


def run client(host, port, username, password): 

server = xmlrpclib.ServerProxy('http://$s:$s80$s:9s' % (username, password, host, 
port, )) 

msg - "hello server..." 

print "Sending message to server: $s  " £msg 

print "Got reply: $s" $server.echo (msg) 





if name == '_ main ': 

parser = argparse.ArgumentParser(description-'Multithreaded multicall XMLRPC 
Server/Proxy') 

parser.add argument('--host', action-"store", dest-"host", default-'localhost') 

parser.add argument('--port', action-"store", dest-"port", default-8000, 
type-int) 

parser.add argument('--username', action-"store", dest-"username", 
default-'user') 

parser.add argument('--password', action-"store", dest-"password", 


default-2'pass') 
# parse arguments 
given args - parser.parse args() 
host, port - given args.host, given args.port 
username, password - given args.username, given args.password 
run client(host, port, username, password) 


运行 这 个 脚本 后 ， 会 看 到 如 下 输出 : 
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$ python 8 3b xmprpc client.py 
Sending message to server: hello server... 
Got reply: HELLO SERVER... 


8.4. ”原理 分 析 

在 服务 器 脚本 中 ， 继承 SimpleXMLRPCServer 类 定义 了 SecureXMLRPCServer 子 类 ,在 这 
个 了 于 类 的 初始 化 代 码 中 ; 定义 了 用 于 拦 截 请 求 的 VerifyingRequestHandler 类 s 使 用 
authenticate () 方 法 做 基本 认证 。 

我 们 把 HTTP 请 求 的 首部 传 给 authenticate() 方 法 ,检查 Authorization 首 部 的 值 。 如 果 
值 等 于 Basic， 就 使 用 base64 标 准 模 块 中 的 b64decode () 方 法 解码 编码 后 的 密码 。 提 取出 用 户 
名 和 密码 后 ， 再 和 服务 器 指定 的 登录 凭据 比 对 。 


在 run_server () 函数 中 定义 了 一 个 简单 的 echo () 子 函数 , 将 其 注册 到 securexMLRPCServer 
实例 上 。 


在 客户 端 脚本 中 ，run_client () 函数 的 参数 是 服务 器 地 址 和 登录 凭据 ， 再 把 这 些 参数 传 给 
serverproxy 类 构造 方法 ， 创 建 一 个 实例 。 然 后 使 用 echo () 方 法 发 送 一 行 消息 。 
8.5 使 用 REST A Flickr 中 收集 一 些 照片 信息 


很 多 网 站 都 通过 REST API 提 供 Web 服 务 接 口 。Flickr 这 个 著名 的 照片 分 享 网 站 就 提供 了 REST 
接口 。 让 我 们 来 收集 一 些 照片 信息 ， 构 建 一 个 特殊 的 数据 库 或 者 开发 照片 相关 的 应 用 。 
































8.5.1 实战 演练 


我 们 需要 REST URL 发 起 HTTP 请 求 。 简 单 起 见 ， 这 些 URL 硬 编码 在 脚本 中 。 我 们 可 以 使 用 
第 三 方 模块 requests 发 起 REST 请 求 。requests 模 块 提 供 了 一 些 便利 的 方法 ， 包括 get ()、 
post() put () 和 delete()。 


为 了 和 Flickr 的 Web 服 务 通 信 ， 你 需要 注册 一 个 账户 ， 然 后 获取 API 密 钥 。API 密 钥 可 写 入 
local_settings.py 文 件 ， 或 者 在 命令 行 中 提供 。 


代码 清单 8-4 是 使 用 REST 从 Flickr 中 收集 照片 信息 所 需 的 代码 ， 如 下 所 示 : 





























d!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 8 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 
4 Supply Flickr API key via local settings.py 


import argparse 
import json 
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import requests 


try: 


from local settings import flickr apikey 





except ImportError: 


def 


tag 


pass 


collect photo info(api key, tag, max count): 

"""Collects some interesting info about some photos from Flickr.com for a given 
photo collection = [] 

url = "http://api.flickr.com/services/rest/?method-flickr.photos.search&tags-$ 


s&format-json&nojsoncallback-1&api key-$s" %(tag, api key) 


resp - requests.get(url) 


results - resp.json() 
count = 0 
for p in results['photos']['photo']: 


if count >= max count: 
return photo collection 
print 'Processing photo: "$s"' % p['title'] 
photo = () 
url - "http://api.flickr.com/services/rest/?method-flickr.photos.getInfo& 


photo id- " + p['id'] + "&format-json&nojsoncallback-1&api key=" + api key 


info = requests.get(url).json() 

photo["flickrid"] = p['id'] 

photo["title"] - info['photo']['title'][' content'] 
photo["description"] = info['photo']['description'][' content'] 
photo["page url"] = info['photo']['urls']['url'][0O][' content'] 


photo["farm"] - info['photo']['farm'] 
photo["server"] - info['photo']['server'] 
photo["secret"] - info['photo']['secret'] 








# comments 
numcomments - int(info['photo']['comments'][' content']) 
if numcomments: 
#print " Now reading comments ($d)..." $ numcomments 
url - "http://api.flickr.com/services/rest/?method-flickr.photos.comments. 


getList&photo id-" + p['id'] + "&format-json&nojsoncallback-1&api key-" + api key 


if 


comments - requests.get(url).json() 
photo["comment"] - [] 
for c in comments['comments']['comment']: 
comment = () 
comment["body"] = c['. content'] 
comment["authorid"] = c['author'] 
comment["authorname"] = c['authorname'] 
photo["comment"].append(comment) 
photo collection.append (photo) 
count = count + 1 
return photo collection 





name == ' main ': 
parser - argparse.ArgumentParser(description-'Get photo info from Flickr') 
parser.add argument('--api-key', action-"store", dest-"api key", 
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default-flickr apikey) 


parser.add argument('--tag', action-"store", dest-"tag", default-'Python') 
parser.add argument('--max-count', action-"store", dest-"max count", default-3, 
type-int) 


# parse arguments 
given args - parser.parse args() 
api key, tag, max count - given args.api key, given args.tag, 
given args.max count 
photo info - collect photo info(api key, tag, max count) 
for photo in photo info: 
for k,v in photo.iteritems(): 


if k se 'title": 
print "Showiing photo info...." 
elif k -- "comment": 


"NtPhoto got $s comments." £len(v) 
else: 
print "WMt$s => $s" £$(k,v) 


Flickr API 密 钥 可 以 放 在 local settings.py 文 件 中 ， 也 可 在 命令 行 中 提供 (通过 --api-key 参 
数 )。 除 了 API 密 钥 ， 还 可 指定 搜索 标签 和 结果 的 最 大 数量 。 默 认 情 况 下 ， 这 个 脚本 搜索 Python 
标签 ， 结 果 限 制 为 3 个 ， 如 下 面 的 输出 所 示 : 











$ python 8 4 get flickr photo info.py 
Processing photo: "legolas" 
Processing photo: ""The Dance of the Hunger of Kaa"" 
Processing photo: "Rocky" 
description => Stimson Python 
Showiing photo info.... 
farm => 8 
server -» 7402 
secret => 6cbae671b5 
flickrid => 10054626824 
page url => http://www.flickr.com/photos/1027638099N03/10054626824/ 
description -» &quot; 'Good. Begins now the dance--the Dance of the 
Hunger of Kaa. Sit still and watch." 





He turned twice or thrice in a big circle, weaving his head from right to left. 
Then he began making loops and figures of eight with his body, and soft, 

oozy triangles that melted into squares and five-sided figures, and 

coiled mounds, never resting, never hurrying, and never stopping his 

low humming song. It grew darker and darker, till at last the dragging, 

shifting coils disappeared, but they could hear the rustle of the 

scales .&quot; 

(From &quot;Kaa's Hunting&quot; in &quot;The Jungle Book&quot; (1893) by Rudyard 
Kipling) 


These old abandoned temples built around the 12th century belong to the 
abandoned city which inspired Kipling's Jungle Book. 

They are rising at the top of a mountain which dominates the jungle at 
811 meters above sea level in the centre of the jungle of Bandhavgarh 
located in the Indian state Madhya Pradesh. 

Baghel King Vikramaditya Singh abandoned Bandhavgarh fort in 1617 when 
Rewa, at a distance of 130 km was established as a capital. 
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Abandonment allowed wildlife development in this region. 

When Baghel Kings became aware of it, he declared Bandhavgarh as their 
hunting preserve and strictly prohibited tree cutting and wildlife 
hunting... 


Join the photographer at «a hrefz"http://www.facebook.com/laurent. 
goldstein.photography" rel-"nofollow"»www.facebook.com/laurent.goldstein. 
photography«/a» 


O All photographs are copyrighted and all rights reserved. 
Please do not use any photographs without permission (even for private 
use). 
The use of any work without consent of the artist is PROHIBITED and will 
lead automatically to consequences. 
Showiing photo info.... 
farm -» 6 
server -» 5462 
secret => 6f9c0e7f83 
flickrid -» 10051136944 
page url => http://www.flickr.com/photos/designidg/10051136944/ 
description -» Ball Python 
Showiing photo info.... 
farm => 4 
server -» 3744 
Secret => 529840767f 
flickrid -» 10046353675 
page url => http://www.flickr.com/photos/megzzdollphotos/10046353675/ 


8.5.2 ”原理 分 析 


a en en API 和 它 交 互 。 在 这 个 示例 中 ，collect_photo_ 
info () 函数 有 三 个 参数 : Flickr API 密 钥 、 搜 索 标 签 和 想 要 得 到 的 搜索 结果 数量 。 


我 们 构建 的 第 一 个 URL 用 于 搜索 照片 。 注 意 ， 在 这 个 URL 中 ，methog 参 数 的 值 是 fl1ickr. 
photos.search, 希望 得 到 的 结果 格式 是 JSON。 


第 一 次 调用 get () 方 法 得 到 的 结果 存储 在 变量 resp 中 ,然后 在 这 个 变量 上 调用 json 0273€, 
将 其 转换 成 ISON 格 式 。 然 后 在 一 个 循环 中 读 取 ['photos']['photo'] 中 的 JSON 数 据 。 得 到 的 
信息 保存 在 photo_collection 列 表 中 。 在 这 个 列表 中 , 每 张 照片 的 信息 由 一 个 字典 表示 。 字典 
的 键 从 前 面 的 JSON 格 式 响应 中 提取 ， 照 片 的 信息 从 另 一 个 GET 请 求 中 获取 。 


注意 ， 若 想 获取 了 照片 的 评论 ， 要 再 发 起 一 个 Gam 请 求 ， 从 JSON 格 式 响应 中 的 [icomments ,] CE 
['comment '] 元 素 获 取 。 最 后 ， 把 这 些 评论 搬入 一 个 列表 中 ， 再 添加 到 照片 对 应 的 字典 里 。 


在 _、main__ 块 中 ,我 们 从 photo_collection 列 表 中 读 取 各 字典 ， 打 印 各 张 照片 的 一 些 有 
用 信息 。 






























































图 灵 社区 会 员 木头 |bj(flt0426@163.com) 专 享 尊重 版 权 


150 第 8 章 使 用 Web 服 务 : XML-RPC, SOAP fe REST 





8.6 找 出 亚马逊 S3 Web 服务 支持 的 SOAP 方法 
如 果 你 需要 与 实现 了 简单 对 象 访问 协议 (SOAP) 的 Web 服 务 交 互 ， 可 以 参考 这 个 攻略 。 


8.6.1 准备 工作 
在 这 个 攻略 中 我 们 可 以 使 用 第 三 方 库 soappy， 执 行 下 面 的 命令 即 可 安装 这 个 库 : 


$ pip install SOAPpy 


8.6.2 ”实战 演练 
我 们 要 创建 一 个 代理 对 象 ， 在 调用 服务 器 上 的 方法 之 前 ， 先 找 出 支持 哪些 方法 。 


在 这 个 攻略 中 ， 我 们 要 和 亚马逊 $3 存储 服务 交互 。 我 们 已 经 有 了 Web 服 务 API 的 测试 URL。 
你 需要 有 API 密 钥 才能 执行 这 个 简单 的 任务 。 


代码 清单 8-5 是 搜索 亚马逊 S3 Web 服 务 支 持 的 SOAP 方 法 所 需 的 代码 ， 如 下 所 示 : 











#!/usr/bin/env python 
# Python Network Programming Cookbook -- Chapter - 8 
# This program requires Python 2.7 or any later version 


import SOAPpy 


TEST URL - 'http://s3.amazonaws.com/ec2-downloads/2009-04-04.ec2.wsdl' 





def list soap methods (url): 
proxy - SOAPpy.WSDL.Proxy (url) 
print '$d methods in WSDL:' % len(proxy.methods) + '\n' 
for key in proxy.methods.keys(): 
print "Key Name: $s" £key 
print "Key Details:" 


for k,v in proxy.methods[key]. dict  .iteritems(): 
print "$s ==> $s" %(k,v) 
break 
if name == ' mani 








list soap methods (TEST URL) 


运行 这 个 脚本 后 ， 会 打印 出 文 持 “Web 服 务 定义 语言 ”( Web Services Definition Language, 
简称 WSDL ) 的 可 用 方法 总 数 ， 以 及 随意 一 个 方法 的 详情 ， 如 下 所 示 : 





$ python 8 5 search amazonaws with SOAP.py 
/home/farug/env/lib/python2.7/site-packages/wstools/XMLSchema.py:1280: 
UserWarning: annotation is ignored 

warnings.warn('annotation is ignored') 
43 methods in WSDL: 
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Key Name: ReleaseAddress 
Key Details: 
encodingStyle --» None 
style ==> document 
methodName ==> ReleaseAddress 


retval ==> None 
soapAction ==> ReleaseAddress 
namespace ==> None 


use ==> literal 

location ==> https://ec2.amazonaws .com/ 

inparams ==> [<wstools.WSDLTools.ParameterInfo instance at 0x8fb9d0c>] 
outheaders ==> [] 

inheaders ==> [] 

transport ==> http://schemas.xmlsoap.org/soap/http 

outparams ==> [«wstools.WSDLTools.ParameterInfo instance at 0x8fb9d2c»] 


8.6(8 ”原理 分 析 


在 这 个 脚本 中 ， 定义 了 一 个 名 为 list_soap_methods () 的 方法， 其 参数 是 一 个 URL。 人 然后 
调用 soaPpy 模 块 中 的 WsDL . Proxy () 方 法 创建 一 个 SOAP 代 理 对 象 。 可 用 的 SOAP 方 法 可 通过 这 
个 代理 对 象 的 methods 属 性 获取 。 


然后 遍历 代理 对 象 nethods 属 性 中 的 键 ， 获 取 各 方法 对 应 的 键 名 。 在 for 循 环 中 打印 出 某 个 
具体 SOAP 方 法 的 详情 ， 包 括 键 名 和 键 的 详情 。 















































8.7 ”使 用 谷歌 搜索 定制 信息 
对 很 多 人 来 说 ， 每 天 都 要 使 用 谷歌 搜索 信息 。 我 们 来 试 试 使 用 谷歌 搜索 一 些 信息 。 





8.7.1 准备 工作 
这 个 攻略 要 使 用 一 个 第 三 方 Python 库 requests， 可 以 使 用 pip 安 装 ， 如 下 面 的 命令 所 示 : 


$ pip install requests 


8.7.2 ”实战 演练 


谷歌 的 搜索 API 很 复杂 ， 你 要 注册 一 个 账户 ， 再 按照 指定 的 方式 获取 API 密 钥 。 简 单 起 见 ， 
我 们 使 用 谷歌 以 前 的 简单 异步 JavaScript (AJAX ) API， 搜 索 Python 相 关 的 图 书信 息 。 


代码 清单 8-6 是 使 用 谷歌 搜索 定制 信息 所 需 的 代码 ， 如 下 所 示 : 











d$!/usr/bin/env python 
# Python Network Programming Cookbook -- Chapter - 8 
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# This program requires Python 2.7 or any later version. 

# It may run on any other version with/without modifications. 
import argparse 

import json 

import urllib 

import requests 


BASE URL - 'http://ajax.googleapis.com/ajax/services/search/web?v-1.0' 





def get search url(query): 
return "$s&$s" $(BASE URL, query) 





def search info(tag): 
query = urllib.urlencode(('q': tag)) 
url = get search url(query) 
response = requests.get (url) 
results - response.json() 


data - results['responseData'] 

print 'Found total results: $s' % data['cursor']['estimatedResultCount'] 
hits = data['results'] 

print 'Found top $d hits:' % len(hits) 

for h in hits: 





print *" *, h["url'] 
print 'More results available from $s' $ data['cursor']['moreResultsUrl'] 
Af name == ' qaim. ': 
parser = argparse.ArgumentParser(description-'Search info from Google') 
parser.add argument('--tag', action-"store", dest-"tag", default-'Python books') 


# parse arguments 
given args - parser.parse args() 
search info(given args.tag) 


运行 这 个 脚本 时 ， 如 果 在 --tag 参 数 中 指定 了 搜索 关键 字 ， 它 会 在 谷歌 中 搜索 ,并 打印 出 结 
果 总 数 和 点 击 量 最 多 的 四 个 网 址 ， 如 下 所 示 : 





$ python 8 6 search products from Google.py 

Found total results: 12300000 

Found top 4 hits: 
https://wiki.python.org/moin/PythonBooks 


http://www.amazon.com/Python-Languages-Tools-Programming-Books/b?6:3Fie?;3DUTF8?626nod 
e€?653D285856 
http://pythonbooks.revolunet.com/ 
http://readwrite.com/2011/03/25/python-is-an-increasingly-popu 
More results available from 
http://www.google.com/search?oe-utf8&ie-utf8&source-uds&start-0&hl-en&q-Python*books 


8.7.8 原理 分 析 
在 这 个 攻略 中 ,我们 定义 了 一 个 简短 的 函数 get_search_url ()， 使 用 BASE_URL 常 量 和 查 





图 灵 社区 会 员 木头 |bj(flt0426@163.com) 专 享 尊重 版 权 


8.8 通过 商品 搜索 API 在 亚马逊 中 搜索 图 书 153 








询 字 符 串 组 成 搜索 URL。 


执行 搜索 的 函数 search_info () 接收 一 个 参数 ， 即 搜索 关键 字 ， 然 后 构建 查询 字符 串 。 
reauests 库 的 作用 是 提供 get () 方 法 ， 得 到 的 响应 被 转换 成 SON 格 式 。 


我 们 从 JSON 格 式 数 据 的 responseData 键 中 提取 搜索 结果 。 预 期 的 结果 和 点 击 量 从 相应 的 
键 中 获取 。 然 后 把 点 击 量 排 在 前 四 位 的 URL 打 印 出 来 。 











8.8 通过 商品 搜索 API 在 亚马逊 中 搜索 图 书 


如 果 你 想 在 亚马逊 中 搜索 商品 ， 并 把 它们 添加 到 自己 的 网 站 或 应 用 中 ， 可 以 参考 这 个 攻略 。 
我 们 要 介绍 如 何在 亚马逊 中 搜索 图 书 。 





8.8.1 准备 工作 

这 个 攻略 要 用 到 一 个 第 三 方 Python 库 bottlenose。 这 个 库 可 使 用 pip 安 装 ， 如 下 面 的 命令 
所 示 : 

$ pip install bottlenose 


首先 ， 要 把 亚马逊 账户 的 访问 密 钥 、 私 铀 和 联盟 ID 保存 在 文件 local_settings.py 中 。 本 书 附带 
的 源码 提供 了 一 个 示例 设置 文件 。 你 也 可 以 修改 下 面 这 个 脚本 ， 把 设置 写 进去 。 








8.8.2 ”实战 演练 
我 们 可 以 使 用 bottlenose 库 实现 亚马逊 商品 搜索 API。 
代码 清单 8-7 是 使 用 商品 搜索 API 在 亚马逊 中 搜索 图 书 所 需 的 代码 ， 如 下 所 示 : 


d$!/usr/bin/env python 
# Python Network Programming Cookbook -- Chapter - 8 
# This program requires Python 2.7 or any later version 





import argparse 
import bottlenose 
from xml.dom import minidom as xml 





try: 

from local settings import amazon account 
except ImportError: 

pass 





ACCESS. KEY 
SECRET KEY 


amazon account['access key'] 
amazon account['secret key'] 
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AFFILIATE ID - amazon account['affiliate id'] 





def search for books(tag, index): 
"""Search Amazon for Books """ 
amazon - bottlenose.Amazon(ACCESS KEY, SECRET KEY, AFFILIATE ID) 
results - amazon.ItemSearch( 
SearchlIndex = index, 
Sort = "relevancerank", 
Keywords - tag 
) 


parsed result - xml.parseString(results) 























all items - [] 
attrs - ['Title','Author', 'URL'] 





for item in parsed result.getElementsByTagName('Item'): 
parse item - () 


for attr in attrs: 
parse item[attr] - "" 
try: 
parse item[attr] - 
item.getElementsByTagName (attr)[0].childNodes[0].data 
except: 
pass 
all items.append(parse item) 
return all items 








if name se * «mein "s: 
parser - argparse.ArgumentParser(description-'Search info from Amazon') 
parser.add argument('--tag', action-"store", dest-"tag", default-'Python') 
parser.add argument('--index', action-"store", dest-"index", default-'Books') 


# parse arguments 
given args - parser.parse args() 
books = search for books(given args.tag, given args.index) 


for book in books: 
for k,v in book.iteritems(): 
print "£s: £s" £$(k,v) 
print "-" * 80 


运行 这 个 脚本 时 如 果 提 供 了 搜索 关键 字 和 目录 ， 会 看 到 一 些 类 似 下 面 的 输出 : 








$ python 8 7 search amazon for books .py --tag-Python --index-Books 
URL: http://www.amazon.com/Python-In-Day-Basics-Coding/dp/tech-data/1 
4904755759*:3FSubscriptionId?*3DAKIAIPPW3IK76PBRLWBA?:26tag?63D7052-6929- 
7878?:261inkCode*633Dxm2?626camp?63D2025?626creative?s:33D386001?6:26creative- 
ASIN?*3D1490475575 

Author: Richard Wagstaff 

Title: Python In A Day: Learn The Basics, Learn It Quick, Start Coding 
Fast (In A Day Books) (Volume 1) 


URL: http://www.amazon.com/Learning-Python-Mark-Lutz/dp/tech-data/1449355 
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7309:33FSubscriptionId?*:3DAKIAIPPW3IK76PBRLWBA?26tag?:3D7052-6929-7878*:261ink 
Code%3Dxm2%26camp%3D2025%26creative%3D386001%26creativeASIN%3D1449355730 
Author: Mark Lutz 

Title: Learning Python 


URL: http://www.amazon.com/Python-Programming-Introduction-Computer- 
Science/dp/tech-data/1590282418?:33FSubscriptionId*3DAKIAIPPW3IK76PBRLWBA?62 
6tag%3D7052-6929-7878%26linkCode%3Dxm2%26camp%3D2025%26creative%3D386001% 
26creativeASIN%3D1590282418 

Author: John Zelle 

Title: Python Programming: An Introduction to Computer Science 2nd 
Edition 


8.8.8 ”原理 分 析 


这 个 攻略 使 用 第 三 方 库 bottlenose 中 的 Amazon 类 创建 了 一 个 对 象 ， 使 用 商品 搜索 API 在 亚 
马 逊 中 进行 搜索 。 这 些 操作 在 顶层 函数 search_for_books () 中 完成 。 在 这 个 对 象 上 调用 
ItemSearch() 方法 时 ， 分 别 把 search for books() 函数 的 参数 传 给 searchIindqex 和 
Keywords 键 。 搜 索 结 果 使 用 relevancerank 方 式 排序 。 


搜索 结果 使 用 xml 模 块 中 的 minidom 接 口 处 理 , 这 个 接口 提供 了 一 个 有 用 的 parsestring () 
方法 ,得 到 的 结果 是 解析 后 的 树 状 数据 结构 ,在 这 个 数据 结构 上 调用 getElementsByTagName () 
方法 能 获取 全 部 搜索 结果 。 然 后 遍历 搜索 结果 ， 把 属性 存 人 parse_item 字 典 中 。 最 后 ， 把 所 有 
解析 后 的 搜索 结果 都 保存 到 a1l1_items 列 表 中 ， 返回 给 用 户 。 
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本 章 攻略 : 


口 嗅 探 网 络 数据 包 

O 使 用 pcap 转 储 器 把 数据 包 保存 为 pcap 格 式 
O 在 HTTP 数 据 包 中 添加 额外 的 首部 

OQ 扫描 远程 主机 的 端口 

口 自 定 义 数据 包 的 人 PP 地址 

a 读 取 保存 的 pcap 文 件 以 重 放流 量 

口 扫描 数据 包 的 广播 











9.1 简介 


本 章 介 绍 一 些 有 趣 的 Python 攻略 , 用 于 监控 网 络 安全 和 漏洞 扫描 。 我 们 先 使 用 pcap 库 嗅 探 数 
据 包 。 然 后 使 用 scapy， 这 是 一 个 瑞士 军刀 类 型 的 库 ， 可 以 完成 很 多 相似 的 任务 。 本 章 介 绍 了 一 
些 使 用 scapy 完 成 的 常见 任务 ， 例 如 把 数据 包 保 存 为 pcap 格 式 、 添 加 额外 的 首部 ， 以 及 修改 数据 
包 的 IP 地 址 。 


本 章 还 介绍 了 一 些 网 络 人 侵 检测 相关 的 高 级 任务 , 例如 使 用 保存 的 pcap 文 件 重 放流 量 和 广播 














9.2 ”了 嗅 探 网 络 数据 包 


如 果 你 对 嗅 探 本 地 网 络 中 的 数据 包 感 兴趣 ， 可 以 参考 这 个 攻略 。 记 住 ， 你 可 能 无 法 嗅 探 发 往 
你 的 设备 之 外 的 数据 包 ， 因 为 好 的 网 络 交换 机 只 会 转发 指定 给 你 的 设备 的 流量 。 





9.2.1 准备 工作 


尔 需要 安装 pylibpcap 库 ( 0.6.4 或 以 上 版 本 ) 才能 使 用 这 个 攻略 。 这 个 库 托管 在 SourceForge 


ES 
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上 ， 地 址 为 http://sourceforge.net/projects/pylibpcap/。 


你 还 需要 安装 construct 库 ， 可 以 使 用 pip 或 easy_install 从 PyPI 上 安装 ， 如 下 面 的 命令 
所 示 : 


$ easy install construct 


9.2.2 ”实战 演练 
我 们 可 以 使 用 命令 行 参数 指定 要 嗅 探 的 网 络 接口 名 和 TCP 端 口号 等 。 
代码 清单 9-1 是 嗅 探 网 络 数据 包 所 需 的 代码 ， 如 下 所 示 : 
#!/usr/bin/env python 
# Python Network Programming Cookbook -- Chapter - 9 


# This program is optimized for Python 2.6. 
# It may run on any other version with/without modifications. 








import argparse 
import pcap 
from construct.protocols.ipstack import ip stack 


def print packet(pktlen, data, timestamp): 
""" Callback for priniting the packet payload"'"" 
if not data: 
return 


stack = ip stack.parse(data) 
payload - stack.next.next.next 
print payload 


def main(): 
# setup commandline arguments 
parser = argparse.ArgumentParser(description-'Packet Sniffer') 
parser.add argument('--iface', action-"store", dest-"iface", default-'eth0') 
parser.add argument('--port', action-"store", dest-"port", default-80, type-int) 
# parse arguments 
given args - parser.parse args() 
iface, port - given args.iface, given args.port 
4 start sniffing 
pc = pcap.pcapObject() 
pc.open live(iface, 1600, 0, 100) 
pc.setfilter('dst port $d' port, 0, 0) 


print 'Press CTRL+C to end capture' 
try: 
while True: 
pc.dispatch(1, print packet) 
except KeyboardInterrupt: 
print 'Packet statistics: $d packets received, %d packets dropped, $d packets 
dropped by the interface' $ pc.stats() 
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Af name == o mein "s 
main() 


运行 这 个 脚本 时 ,如 果 传 人 的 命令 行 参数 是 --iface=eth0 和 --port=80, 这 个 脚本 会 嗅 探 网 
页 浏览 器 发 出 的 所 有 HTTP 数 据 包 。 运 行 这 个 脚本 后 ， 如 果 在 浏览 器 中 访问 http:/www.google.com， 
会 看 到 如 下 所 示 的 原始 数据 包 : 




















python 9 1 packet sniffer.py --iface-eth0 --port-80 

Press CTRL+C to end capture 

LERI 

0000 47 45 54 20 2f 20 48 54 54 50 2f 31 2e 31 Od 0a GET / HTTP/1.1.. 
0010 48 6f 73 74 3a 20 77 77 77 2e 67 6f 6f 67 6c 65 Host: www.google 
0020 2e 63 6f 6d Od Oa 43 6f 6e 6e 65 63 74 69 6f 6e .Com. .Connection 
0030 3a 20 6b 65 65 70 2d 61 6c 69 76 65 Od Oa 41 63 : keep-alive..Ac 
0040 63 65 70 74 3a 20 74 65 78 74 2f 68 74 6d 6c 2c cept: text/html, 
0050 61 70 70 6c 69 63 61 74 69 6f 6e 2f 78 68 74 6d application/xhtm 


0060 6c 2b 78 6d 6c 2c 61 70 70 6c 69 63 61 74 69 6f l*xml,applicatio 
0070 6e 2f 78 6d 6c 3b 71 3d 30 2e 39 2c 2a 2f 2a 3b n/xml;q-0.9,*/*; 
0080 71 3d 30 2e 38 Od Oa 55 73 65 72 2d 41 67 65 qz-0.8..User-Agen 


0090 74 3a 20 4d 6f 7a 69 6c 6c 61 2f 35 2e 30 20 28 t: Mozilla/5.0 ( 
00A0 58 31 31 3b 20 4c 69 6e 75 78 20 69 36 38 36 29 X11; Linux i686) 


00B0 20 41 70 70 6c 65 57 65 62 4b 69 74 2f 35 33 37 AppleWebKit/537 
00C0 2e 33 31 20 28 4b 48 54 4d 4c 2c 20 6c 69 6b 65 .31 (KHTML, like 
00DO 20 47 65 63 6b 6f 29 20 43 68 72 6f 6d 65 2f 32 Gecko) Chrome/2 
00E0 36 2e 30 2e 31 34 31 30 2e 34 33 20 53 61 66 61 6.0.1410.43 Safa 
00FO0 72 69 2f 35 33 37 2e 33 31 O0d Oa 58 2d 43 68 72 ri/537.31..X-Chr 


0100 6£ 6d 65 2d 56 61 72 69 61 74 69 6f 6e 73 3a 20 ome-Variations: 

0110 43 50 71 31 79 51 45 49 6b 62 62 4a 41 51 69 59 CPq1yQEIkbbJAQiY 
0120 74 73 6b 42 43 4b 4f 32 79 51 45 49 70 37 62 4a tskBCKO2yQEIp7bJ 
0130 41 51 69 70 74 73 6b 42 43 4c 65 32 79 51 45 49 AQiptskBCLe2yQEI 
0140 2b 6f 50 4b 41 51 3d 3d 0d Oa 44 4e 54 3a 20 31 *oPKAQ--..DNT: 1 
0150 Od Oa 41 63 63 65 70 74 2d 45 6e 63 6f 64 69 6e . .Accept-Encodin 
0160 67 3a 20 67 7a 69 70 2c 64 65 66 6c 61 74 65 2c g: gzip,deflate, 
0170 73 64 63 68 Od Oa 41 63 63 65 70 74 2d 4c 61 6e Sdch..Accept-Lan 
0180 67 75 61 67 65 3a 20 65 6e 2d 47 42 2c 65 6e 2d guage: en-GB,en- 
0190 55 53 3b 71 3d 30 2e 38 2c 65 6e 3b 71 3d 30 2e US;q=0.8,en;q=0. 
01A0 36 0d Oa 41 63 63 65 70 74 2d 43 68 61 72 73 65 6..Accept-Charse 
01B0 74 3a 20 49 53 4f 2d 38 38 35 39 2d 31 2c 75 74 t: ISO-8859-1,ut 
01cO 66 2d 38 3b 71 3d 30 2e 37 2c 2a 3b 71 3d 30 2e f-8;qz20.7,*;qz-0. 
01DO 33 0d Oa 43 6f 6f 6b 69 65 3a 20 50 52 45 46 3d 3..Cookie: PREF- 


^CPacket statistics: 17 packets received, 0 packets dropped, 0 
packets dropped by the interface 


9.23 ”原理 分 析 
这 个 攻略 依赖 于 pcap 库 中 的 pcapobject 类 创建 嗅 探 器 实例 。 在 main () 方 法 中 创建 了 一 个 
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pcapobject 类 的 实例 ， 然 后 使 用 setfilter () 方 法 设置 了 一 个 过 滤器 ， 只 捕获 HTTP 数 据 包 。 
最 后 ， 调 用 dispatch() 方 法 开始 嗅 探 。 嗅 探 到 的 数据 包 发 给 print_packet O 函数 做 进一步 
处 理 。 


fEprint packet () 函数 中 ， 如 果 数 据 包 中 有 数据 ， 就 使 用 construct 库 中 的 ip_stack. 
parse () 方 法 把 数据 提取 出 来 。 对 数据 做 低层 处 理 时 ，construct 库 能 提供 很 大 的 帮助 。 


























9.3 使 用 pcap 转 储 器 把 数据 包 保 存 为 pcap 格式 
pcap (packet capture， 数 据 包 捕获 ) 是 保存 网 络 数据 常用 的 一 种 文件 格式 。 关 于 pcap 格 式 的 


详细 介绍 ， 请 访问 http://wiki.wireshark.org/Development/LibpcapFileFormat。 


如 果 你 想 把 捕获 的 网 络 数据 包 保 存 到 一 个 文件 中 ,以 便 做 进一步 处 理 , 这 个 攻略 为 你 提供 了 
一 个 可 用 的 示例 。 





9.3.1 实战 演练 


在 这 个 攻略 中 ,我 们 使 用 scapy 库 嗅 探 数 据 包 ， 然 后 将 其 写 入 一 个 文件 。scapy 中 的 所 有 实 
用 函数 和 定义 可 以 使 用 通配符 导入 ， 如 下 面 的 代码 所 示 : 

















from scapy.all import * 
这 么 做 只 是 为 了 演示 ， 不 推荐 在 生产 环境 的 代码 中 使 用 。 


Scapy 库 中 的 sniff () 函数 接收 的 参数 是 回调 函数 的 名 称 。 我 们 来 定义 一 个 回调 函数 ， 把 数 
据 包 写 入 文件 。 


代码 清单 9-2 是 使 用 pcap 转 储 器 把 数据 包 保存 为 pcap 格 式 所 需 的 代码 ， 如 下 所 示 : 


d$!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 9 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 











import os 
from scapy.all import * 


pkts - [] 
count - 0 
pcapnum = 0 


def write cap(x): 
global pkts 
global count 
global pcapnum 
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pkts.append(x) 
count += 1 


if counb == 3: 
pcapnum += 1 
pname - "pcap$d.pcap" $ pcapnum 
wrpcap(pname, pkts) 
pkts - [] 


count - 0 


def test dump file(): 
print "Testing the dump file..." 
dump file = "./pcapl.pcap" 
if os.path.exists(dump file): 
print "dump fie $s found." dump file 
pkts - sniff(offline-dump file) 
count - 0 
while (count «-2): 
print "----Dumping pkt:$s----" $count 
print hexdump (pkts[count]) 
count += 1 


else: 
print "dump fie $s not found." $dump file 


if name es to main "i 
print "Started packet capturing and dumping... Press CTRL+C to exit" 
sniff(prn-write cap) 
test dump file() 


运行 这 个 脚本 后 ， 会 看 到 类 似 下 面 的 输出 : 








# python 9 2 save packets in pcap format.py 

^CStarted packet capturing and dumping... Press CTRL+C to exit 
Testing the dump file... 

dump fie ./pcapl.pcap found. 

----Dumping pkt:0---- 





0000 08 00 27 95 OD 1A 52 54 00 12 35 02 08 00 45 00 ax axalfaaBassE. 
0010 00 DB E2 6D 00 00 40 06 7C 9E 6C AO A2 62 OA 00 en. . 0. | L1... b.. 
0020 02 OF 00 50 99 55 97 98 2C 84 CE 45 9B 6C 50 18 QQ.P.U..,..E.lP. 
0030 FF FF 53 E0 00 00 48 54 54 50 2F 31 2E 31 20 32 ..S...HTTP/1.1 2 
0040 30 30 20 4F 4B OD 0A 58 2D 44 42 2D 54 69 6D 65 00 OK..X-DB-Time 
0050 6F 75 74 3A 20 31 32 30 OD OA 50 72 61 67 6D 61 out: 120..Pragma 
0060 3A 20 6E 6F 2D 63 61 63 68 65 OD OA 43 61 63 68 : no-cache..Cach 
0070 65 2D 43 6F 6E 74 72 6F 6C 3A 20 6E 6F 2D 63 61 e-Control: no-ca 
0080 63 68 65 0D OA 43 6F 6E 74 65 6E 74 2D 54 79 70 che..Content-Typ 
0090 65 3A 20 74 65 78 74 2F 370 6C 61 69 6E OD OA 44 e: text/plain..D 
00a0 61 74 65 3A 20 53 75 6E 2C 20 31 35 20 53 65 70 ate: Sun, 15 Sep 
00b0 2032 30 31 33 20 31 35 3A 32 32 3A 33 36 20 47 2013 15:22:36G 
00cO 4D 54 OD OA 43 6F 6E 74 65 6E 74 2D 4C 65 6E 67 MT..Content-Leng 
oodo 74 68 3A 20 31 35 0D OA OD OA 7B 22 72 65 74 22 th: 15....{"ret" 
00e0 3A 20 22 70 75 6E 74 22 7D : "punt") None 
----pDumping pkt:1---- 

0000 52 54 00 12 35 02 08 00 27 95 OD 1A 08 00 45 OO 1 Bara awona E. 
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0010 01 D2 1F 25 40 00 40 06 FE EF 0A 00 02 OF 6C AO 22.59.0.......1. 
0020 A2 62 99 55 00 50 CE 45 9B 6C 97 98 2D 37 50 18 .b.U.P.E.1..-7P. 
0030 F9 28 1C D6 00 00 47 45 54 20 2F 73 75 62 73 63 -(....GET /subsc 
0040 72 69 62 65 3F 68 6F 73 74 5F 69 6E 74 3D 35 31 ribe?host int-51 
0050 30 35 36 34 37 34 36 26 6E 73 5F 6D 61 70 3D 31 0564746&ns map-1 


0060 36 30 36 39 36 39 39 34 5F 33 30 30 38 30 38 34 60696994 3008084 
0070 30 37 37 31 34 2C 31 30 31 39 34 36 31 31 5F 31 07714,10194611 1 
0080 31 30 35 33 30 39 38 34 33 38 32 30 32 31 31 2C 105309843820211, 
0090 31 34 36 34 32 38 30 35 32 5F 33 32 39 34 33 38 146428052 329438 
00a0 36 33 34 34 30 38 34 2C 31 31 36 30 31 35 33 31 6344084,11601531 
00b0 5F 32 37 39 31 38 34 34 37 35 37 37 31 2C 31 30 .279184475771,10 
00c0 31 39 34 38 32 38 5F 33 30 30 37 34 39 36 35 39 194828 300749659 
oodo 30 30 2C 33 33 30 39 39 31 39 38 32 5F 38 31 39 00,330991982_819 
00e0 33 35 33 37 30 36 30 36 2C 31 36 33 32 37 38 35 35370606,1632785 
00£f0 35 5F 31 32 39 30 31 32 32 39 37 34 33 26 75 73 5 12901229743&us 
0100 65 72 5F 69 64 3D 36 35 32 30 33 37 32 26 6E 69 er idz6520372&ni 
0110 64 3D 32 26 74 73 3D 31 33 37 39 32 35 38 35 36 d-2&ts-z137925856 
0120 31 20 48 54 54 50 2F 31 2E 31 OD OA 48 6F 73 74 1 HTTP/1.1..Host 
0130 3A 20 6E 6F 74 69 66 79 33 2E 64 72 6F 70 62 6F : notify3.dropbo 
0140 78 2E 63 6F 6D OD 0A 41 63 63 65 70 74 2D 45 6E X.com..Accept-En 
0150 63 6F 64 69 6E 67 3A 20 69 64 65 6E 74 69 74 79 coding:identity 
0160 OD OA 43 6F 6E 6E 65 63 74 69 6F 6E 3A 20 6B 65 . .Connection:ke 
0170 65 70 2D 61 6C 69 76 65 OD OA 58 2D 44 72 6F 70 ep-alive..X-Drop 
0180 62 6F 78 2D 4C 6F 63 61 6C 65 3A 20 65 6E 5F 55 box-Locale:en U 
0190 53 0D OA 55 73 65 72 2D 41 67 65 6E 74 3A 20 44 S..User-Agent:D 
01a0 72 6F 70 62 6F 78 44 65 73 6B 74 6F 70 43 6C 69 ropboxDesktopCli 
01b0 65 6E 74 2F 32 2E 30 2E 32 32 20 28 4C 69 6E 75 ent/2.0.22(Linu 
01cO 78 3B 20 32 2E 36 2E 33 32 2D 35 2D 36 38 36 3B X; 2.6.32-5-686; 
01d0 20 69 33 32 3B 20 65 6E 5F 55 53 29 0D OA OD OA 132; en US)....None 
----pumping pkt:2---- 


0000 08 00 27 95 OD 1A 52 54 00 12 35 02 08 00 45 00 CS URT.L5...E. 
0010 00 28 E2 6E 00 00 40 06 7D 50 6C A0 A2 62 OA 00 - (.n..G.)P1l..b.. 
0020 02 OF 00 50 99 55 97 98 2D 37 CE 45 9D 16 50 10 ...P.U..-7.E..P. 
0030 FF FF CA F1 00 00 00 00 00 00 00 00 een nnn. None 


9.3.2 ”原理 分 析 


这 个 攻略 使 用 scapy 库 中 的 实用 函数 sniff () 和 wrpacp () 捕 获 所 有 网 络 数据 包 ， 然 后 将 其 
转 储 到 一 个 文件 中 。 使 用 sniff () 函数 捕获 数据 包 后 ， 再 调用 write_cap () 函数 处 理 数据 包 。 
处 理 各 数据 包 时 用 到 了 几 个 全 局 变量 。 例 如 ， 数 据 包 保 存在 pkts 列 表 中 ， 还 用 到 了 数据 包 数 量 
和 变量 数量 。 数 量 等 于 3 时 ， 把 pkts 列 表 转 储 到 pcap1.pcap 文 件 中 ， 然 后 把 count 变 量 设 为 零 ， 
以 便 继 续 捕 获 后 面 三 个 数据 包 ， 再 将 其 转 储 到 pcap2 .pcap 文 件 中 ， 以 此 类 推 。 


在 test_aump_file() 函数 中 ， 我 们 假设 在 工作 目录 中 已 经 存在 首 个 转 储 文件 pcap1. 
pcap。 这 次 调用 sniff O 函数 时 指定 了 off1ine 参 数 ， 从 文件 而 不 是 网 络 中 捕获 数据 包 。 然 后 
使 用 hexaump O 函数 解码 各 数据 包 ， 再 把 数据 包 中 的 内 容 打印 在 屏幕 上 。 
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9.4 在 HTTP 数 据 包 中 添加 额外 的 首部 


有 时 ， 处 理应 用 时 要 添加 一 个 包含 自 定义 信息 的 HITP 首 部 。 例 如 ， 添 加 授权 首部 可 以 在 数 
据 包 捕 获 代 码 中 实现 HTTP 基 本 认证 功能 。 





9.4.1 实战 演练 


我 们 要 使 用 scapy 库 中 的 sniff() 函数 嗅 探 数据 包 ， 还 要 定义 一 个 回调 函数 modify_ 
packet_header () ， 在 指定 的 数据 包 中 添加 额外 的 首部 。 


代码 清单 9-3 是 在 HTTP 数 据 包 中 添加 额外 的 首部 所 需 的 代码 ， 如 下 所 示 : 





d!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 9 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


from scapy.all import * 


def modify packet header(pkt): 
""" Parse the header and add an extra header"'"" 





if pkt.haslayer(TCP) and pkt.getlayer(TCP).dport == 80 and pkt.haslayer (Raw): 
hdr = pkt[TCP].payload. dict . 
extra item - ('Extra Header' : ' extra value') 
hdr.update(extra item) 
send hdr = 'WrWMn'.join(hdr) 


pkt[TCP].payload = send hdr 


pkt.show() 


del pkt[IP].chksum 





send(pkt) 
Af name == '_ main_ ': 
# start sniffing 
sniff(filter-"tcp and ( port 80 )", prn=modify packet header) 





运行 这 个 脚本 后 , 会 显示 一 个 捕获 到 的 数据 包 ， 打印 出 修改 后 的 版 本 ， 再 把 它 发 回 网 络 ， 如 
下 面 的 输出 所 示 。 这 个 操作 可 以 使 用 其 他 捕获 工具 验证 ， 例 如 tcpdump 和 wireshark。 



































$ python 9 3 add extra http header in sniffed packet .py 





iHE[ Ethernet ]### 


dst = 52:54:00:12:35:02 
src = 08:00:27:95:0d:1a 
type - 0x800 
iHR[ IP J### 
version = 4L 
ihl = 5L 
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tos = 0x0 
len = 525 
id = 13419 
flags = DF 
frag = 0L 
ttl - 64 
proto - tcp 
chksum = 0x171 
src - 10.0.2.15 
dst = 82.94.164.162 
Noptions \ 

###[ TCP ]### 
sport = 49273 
dport = Www 
seq = 107715690 
ack = 216121024 
dataofs = 5L 
reserved = OL 
flags = PA 
window = 6432 
chksum = 0x50f 
urgptr = 0 
options = [] 

dHHE[ Raw ]### 
load = 'Extra Header\r\nsent time\r\nfields\r\ 


naliastypes\r\npost_transforms\r\nunderlayer\r\nfieldtype\r\ntime\r\ 
ninitialized\r\noverloaded_fields\r\npacketfields\r\npayload\r\ndefault_ 
fields' 


Sent 1 packets. 


9.4.2 ”原理 分 析 

首先 ， 我 们 使 用 scapy 库 中 的 sniff () 函数 嗅 探 数 据 包 ， 把 modify_ packet header () PK 
数 指定 为 每 个 数据 包 的 回调 函数 。 所 有 TCP 数 据 包 都 有 TCP 和 原始 层 ， 发 往 80 端 口 的 数据 包 是 我 
们 要 修改 的 目标 。 所 以 ， 我 们 从 数据 包 中 把 当前 的 首部 提取 了 出 来 。 


然后 把 额外 的 首部 添加 到 现 有 的 首部 字典 尾部 。 数 据 包 使 用 show() 方 法 打印 在 屏幕 上 ， 为 
了 避免 正确 性 检查 失败 ， 我 们 把 数据 包 的 校 验 和 删 掉 了 。 最 后 ， 再 把 数据 包 发 回 网 络 。 
































9.5 扫描 远程 主机 的 端口 


如 果 你 尝试 使 用 某 个 端口 连接 远程 主机 ， 有 了 时 会 收 到 一 个 消息 ,说 “Connection is refused" 
(拒绝 连接 )。 大 多 数 时 候 ， 收 到 这 个 消息 的 原因 是 远程 主机 中 的 服务 器 停止 运行 了 。 遇 到 这 种 
情况 ， 你 可 以 查看 端口 是 开启 还 是 处 在 监听 状态 中 。 你 可 以 扫描 多 个 端口 ， 找 出 设备 中 的 可 用 
服务 。 
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9.5.1 ”实战 演练 


使 用 Python 标 准 库 socket ， 我 们 可 以 完成 这 个 端口 扫描 任务 。 我 们 要 从 命令 行 中 接收 三 个 
参数 : 目标 主机 、 起 始 端口 号 和 终止 端口 号 。 


代码 清单 9-4 是 扫描 远程 主机 的 端口 所 需 的 代码 ， 如 下 所 示 : 





#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 9 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


import argparse 
import socket 
import sys 


def scan ports(host, start port, end port): 
""" Scan remote hosts """ 
#Create socket 
try: 
sock = socket.socket(socket.AF INET,socket.SOCK STREAM) 
except socket.error,err msg: 
print 'Socket creation failed. Error code: '+ str(err msg[0]) + ' Error mesage:' 
+ err msg[1] 
sys.exit() 











#Get IP of remote host 
try: 

remote ip = socket.gethostbyname (host) 
except socket.error,error msg: 

print error msg 

sys.exit() 


#Scan ports 
end port += 1 
for port in range(start port,end port): 
try: 
Sock.connect((remote ip,port)) 
print 'Port ' + str(port) + ' is open' 
Sock.close() 
sock = socket.socket(socket.AF INET,socket.SOCK STR 
except socket.error: 
pass # skip various socket errors 








E 


if name se * dein "s 
# setup commandline arguments 
parser - argparse.ArgumentParser(description-'Remote Port Scanner') 





parser.add argument('--host', action-"store", dest-"host", default-'localhost') 

parser.add argument('--start-port', action-"store", dest-"start port", 
default-1, type-int) 

parser.add argument('--end-port', action-"store", dest-"end port", default-100, 
type-int) 


图 灵 社区 会 员 木头 |bj(flt0426@163.com) 专 享 尊重 版 权 


9.6 自 定 义 数 据 包 的 IP RhE 165 





# parse arguments 

given args - parser.parse args() 

host, start port, end port - given args.host, given args.start port, 
given args.end port 

scan ports(host, start port, end port) 


如 果 运 行 这 个 脚本 扫描 本 地 设备 的 1~100 号 端口 , 查找 打开 的 端口 , 会 看 到 类 似 下 面 的 输出 : 





# python 9 4 scan port of a remote host.py --host-localhost --start-port-1 
--end-port-z100 
Port 21 is open 





Port 22 is open 
Port 23 is open 
Port 25 is open 
Port 80 is open 


9.5.2 ”原理 分 析 


这 个 脚本 演示 了 如 何 使 用 Python 标准 库 socket 扫 描 设 备 , 找 出 打开 的 端口 。scan_ports () 





函数 接收 三 个 参数 : 主机 名 、 起 始 端口 和 终止 端口 。 然 后 分 三 步 扫描 指定 范围 内 的 端口 。 























首先 ， 使 用 socket 0 函数 创建 一 个 TCP 套 接 字 。 
成 功 创建 套 接 字 后 ， 使 用 gethostbyname () 函数 找 出 远程 主机 的 卫 地 址 。 





找到 主机 的 卫 地 址 后 ， 使 用 connect O 函数 尝试 连接 到 这 个 IP。 如 果 连 接 成 功 ， 就 说 明 端口 














是 打开 的 。 然 后 ， 使 用 close O 函数 关闭 端口 ， 重 复 第 一 步 开始 继 续 扫 描 下 一 个 端口 。 


9.6 ” 自 定义 数据 包 的 IP 地 址 


如 果 创 建 了 一 个 网 络 数据 包 ， 想 自 定 义 源 P 和 目标 IP 或 者 端口 ， 可 以 参考 这 个 攻略 。 


9.6.1 ”实战 演练 


IP、 


我 们 可 以 从 命令 行 中 获取 所 需 的 全 部 参数 ， 包 括 网 络 接口 名 、 协 议 名 、 源 IP、 源 端口 、 目 标 
目标 端口 以 及 可 选 的 TCP 旗 标 。 

我 们 可 以 使 用 scapy 库 创建 一 个 自 定 义 TCP 或 UDP 数据 包 ， 再 将 其 发 送 到 网 络 中 。 

代码 清单 9-5 是 自 定义 数据 包 IP 地 址 所 需 的 代码 ， 如 下 所 示 : 

#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 9 


# This program is optimized for Python 2.7. 
# It may run on any other version with/without modifications. 
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import argparse 

import sys 

import re 

from random import randint 


from scapy.all import IP,TCP,UDP,conf,send 


def send packet(protocol-zNone, src ip-None, src port-None, flags-None, dst ip-None, 
dst port-None, iface-None): 
"""Modify and send an IP packet.""" 
if protocol ss "tep: 
packet - IP(src-src ip, dst-dst ip)/TCP(flags-flags, sport-src port, 
dport-dst port) 
elif protocol -- 'udp': 
if flags: raise Exception(" Flags are not supported for udp") 
packet = IP(src-src ip, dst-dst ip)/UDP(sport-src port, dport-dst port) 
else: 
raise Exception ("Unknown protocol $s" $ protocol) 








send(packet, iface-iface) 


Af name se 7 — main "'s 
# setup commandline arguments 
parser = argparse.ArgumentParser (description-'Packet Modifier') 








parser.add argument('--iface', action-"store", dest-"iface", default-'eth0') 

parser.add argument('--protocol', action-"store", dest-"protocol", 
default-'tcp') 

parser.add argument('--src-ip', action-"store", dest-"src ip", 
default-2'1.1.1.1') 

parser.add argument('--src-port', action-"store", dest-"src port", 
default-randint(0, 65535)) 

parser.add argument('--dst-ip', action-"store", dest-"dst ip", 
default-2'192.168.1.51') 

parser.add argument('--dst-port', action-"store", dest-"dst port", 
default-randint(0, 65535)) 

parser.add argument('--flags', action-"store", dest-"flags", default-None) 


# parse arguments 
given args - parser.parse args() 
iface, protocol, src ip, src port, dst ip, dst port, flags = given args.iface, 
given args.protocol, given args.src ip, 
given args.src port, given args.dst ip, given args.dst port, 
given args.flags 
send packet(protocol, src ip, src port, flags, dst ip, dst port, iface) 


若 想 运行 这 个 脚本 ， 请 输入 下 面 的 命令 : 


tcpdump src 192.168.1.66 

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode 
listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes 
^C18:37:34.309992 IP 192.168.1.66.60698 » 192.168.1.51.666: Flags [S], 

seq 0, win 8192, length 0 


1 packets captured 
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1 packets received by filter 
0 packets dropped by kernel 





$ sudo python 9 5 modify ip in a packet.py 
WARNING: No route found for IPv6 destination :: (no default route?) 


Sent 1 packets. 


9.6.2 ”原理 分 析 


个 脚本 定义 了 send_packet () 函数 ， 使 用 scapv 库 构建 一 个 IP 数 据 包 。send_packet () 
函数 的 参数 中 包 合 源 地 址 、 源 端口 、 目 标 地 址 、 目 标 端口 。 根 据 指定 的 不 同 协议 , 例如 TCP 或 UDP， 
这 个 函数 会 构建 正确 的 数据 包 类 型 。 如 果 是 TCP 数 据 包 , 可 以 指定 Elags 人 参数 ; 否则 , 抛 出 异常 。 





























Oen io Sacpy 库 提供 了 IP() /TCP() 函数 。 类 似 地 ， 若 想 创 建 UDP 数据 包 ， 
可 以 使 用 IP() /UDP () 函数 。 


最 后 ， 使 用 sena () 函数 发 送 修改 后 的 数据 包 。 








9.7 读 取 保存 的 pcap 文件 以 重 放流 量 


处 理 网 络 数据 包 时 ， 你 可 能 需要 读 取 之 前 保存 的 pcap 文 件 来 重 放流 量 。 此 时 ， 你 要 读 取 pcap 
文件 ， 在 发 送 前 修改 源 IP 或 目标 人 地 址 。 


9.7.1 ”实战 演练 


我 们 要 使 用 scapy 读 取 之 前 保存 的 pcap 文 件 。 如 果 没 有 pcap 文 件 ， 可 以 使 用 9.3 节 中 的 攻略 
创建 。 


然后 ， 解 析 命 令 行 参数 ， 连 同 解析 后 的 原始 数据 包 一 起 传 给 send_packet O 函数 。 
代码 清单 9-6 是 读 取 保存 的 pcap 文 件 来 重 放 流量 所 需 的 代码 ， 如 下 所 示 : 


#!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 9 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 





import argparse 
from scapy.all import * 


def send packet(recvd pkt, src ip, dst ip, count): 
" Send modified packets""" 
pkt cnt - 0 
p.out = [] 
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for p in recvd pkt: 
pkt cnt += 1 
new pkt - p.payload 
new pkt[IP].dst - dst ip 
new pkt[IP].src = src ip 
del new pkt[IP].chksum 
p. out.append (new pkt) 


if pkt cnt $ count == 0: 
send(PacketList(p out)) 
p.out = [] 


# Send rest of packet 
send(PacketList(p out)) 
print "Total packets sent: $d" $pkt cnt 


if name == *o main _': 
# setup commandline arguments 
parser = argparse.ArgumentParser(description-'Packet Sniffer') 





parser.add argument('--infile', action-"store", dest-"infile", 
default-'pcapl.pcap') 

parser.add argument('--src-ip', action-"store", dest-"src ip", 
default-2'1.1.1.1') 

parser.add argument('--dst-ip', action-"store", dest-"dst ip", 
default-2'2.2.2.2') 

parser.add argument('--count', action-"store", dest-"count", default-100, 
type-int) 


# parse arguments 
given args - ga - parser.parse args() 
global src ip, dst ip 
infile, src ip, dst ip, count = ga.infile, ga.src ip, ga.dst ip, ga.count 
try: 
pkt reader - PcapReader(infile) 
send packet(pkt reader, src ip, dst ip, count) 
except IOError: 
print "Failed reading file $s contents" $ infile 
sys.exit(1) 


运行 这 个 脚本 后 ， 默 认 会 读 取保 存 的 pcap1.pcap 文 件 ， 在 发 送 数据 包 之 前 分 别 把 源 卫 地址 
和 目标 IP 地 址 修改 为 1.1.1.1 和 2.2.2.2， 如 下面 的 输出 所 示 。 使 用 tcpqump 可 以 看 到 这 些 数 据 
包 的 传输 过 程 。 





# python 9 6 replay traffic.py 

Sent 3 packets. 

Total packets sent 3 

# tcpdump src 1.1.1.1 

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode 
listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes 
^C18:44:13.186302 IP 1.1.1.1.www » ARennes-651-1-107-2.w2- 
2.abo.wanadoo.fr.39253: Flags [P.], seq 2543332484:2543332663, ack 
3460668268, win 65535, length 179 


图 灵 社区 会 员 木头 |bj(flt0426@163.com) 专 享 尊重 版 权 


9.8 ”扫描 数 据 包 的 广播 169 





1 packets captured 
3 packets received by filter 
0 packets dropped by kernel 


9.7.2 原理 分 析 


这 个 攻略 使 用 scapy 库 中 的 PcapReader () 函数 从 硬盘 上 读 取 保存 的 pcap1.pcap 文 件 ， 返 
回 一 个 数据 包 和 迭代 器 。 如 果 提 供 了 命令 行 参数 ， 就 解析 这 些 参数 。 和 否则 ， 使 用 默认 值 ， 如 前 面 的 
输出 所 示 。 


命令 行 参数 和 数据 包 列 表 传 给 senq_packet () 函数 。 这 个 函数 把 新 数据 包 保 存在 p_out 列 
表 中 , 并 记录 处 理 后 的 数据 包 。 然 后 修改 各 数据 包 , 更 改 源 耻 和 目标 卫 。 除 此 之 外 , 还 把 checksum 
包 删 摊 了 ， 因 为 这 个 包 是 基于 之 前 的 耳 地址 生成 的 。 


处 理 完 一 个 数据 包 之 后 , 立即 将 其 发 送 到 网 络 中 。 然后, 一 个 接着 一 个 地 发 送 剩 下 的 数据 包 。 























9.8 扫描 数据 包 的 广播 
如 果 你 要 找 出 网 络 的 广播 , 可 以 参考 这 个 攻略 。 我 们 以 广播 数据 包 为 例 , 学 习 如 何 查 找 信息 。 





9.8.4 实战 演练 


我 们 可 以 使 用 scapy 库 嗅 探 网 络 接口 收 到 的 数据 包 。 捕获 数据 包 之 后 ,可 以 使 用 回调 函数 处 
理 ， 从 中 获取 有 用 的 信息 。 


代码 清单 9-7 是 扫描 数据 包 的 广播 所 需 的 代码 ， 如 下 所 示 : 


d$!/usr/bin/env python 

# Python Network Programming Cookbook -- Chapter - 9 

# This program is optimized for Python 2.7. 

# It may run on any other version with/without modifications. 


from scapy.all import * 
import os 
captured data - dict() 


END PORT - 1000 


def monitor packet (pkt): 
if IP in pkt: 
if not captured data.has key(pkt[IP]l.src): 
captured data[pkt[IP].src] - [] 


if TCP in pkt: 
if pkt[TCP].sport «- END PORT: 
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if not str(pkt[TCP].sport) in captured data[pkt[IP].src]: 
captured data[pkt[IP].src].append(str(pkt[TCP].sport)) 


os.system('clear') 
ip list = sorted(captured data.keys()) 
for key in ip list: 


ports-', '.join(captured data[key]) 

if len (captured data[key]) == O0: 
print '$s' % key 

else: 


print '$s ($s)' $ (key, ports) 


if name ee 7o qain "s: 
sniff(prn-zmonitor packet, store-0) 


运行 这 个 脚本 后 ， 会 列 出 广播 流量 的 源 耳 地 址 和 端口 。 下 面 是 一 个 输出 示例 ， 卫 地 址 的 第 一 
位 被 蔡 换 掉 了 : 


# python 9 7 broadcast scanning.py 
10.0.2.15 

XXX.194.41.129 (80) 

XXX.194.41.134 (80) 

XXX.194.41.136 (443) 
XXX.194.41.140 (80) 

XXX.194.67.147 (80) 

XXX.194.67.94 (443) 

XXX.194.67.95 (80, 443) 














9.8.2 ”原理 分 析 


这 个 攻略 使 用 scapy 库 中 的 sniff() 函数 嗅 探 网 络 中 的 数据 包 。 其 中 定义 了 一 个 回调 函数 
monitor. packet (), ， 对 数据 包 做 后 处 理 。 根 据 所 用 协议 的 不 同 ， 例 如 卫 和 TCP ， 分 别 使 用 不 同 
的 方式 排序 数据 包 ， 然 后 将 其 存 人 名 为 capturea_dqata 的 字典 中 。 


如 果 字 典 中 没有 某 个 IP， 就 新 建 一 个 元 素 。 否 则 ， 更 新 这 个 IP 的 端口 号 。 最 后 ， 打 印 这 些 IP 
地 址 ， 每 行 显示 一 个 。 
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最 前 沿 的 IT 类 电子 书 发 售 平台 


电子 出 版 的 时 代 已 经 来 临 。 在 许多 出 版 界 同 行 还 在 犹豫 入 得 的 时 候 ， 图 灵 社 区 已 经 采取 实际 行 
动 拥 抱 这 个 出 版 业 巨 变 。 作 为 国内 第 一 家 发 售 电子 图 书 的 IT 类 出 版 商 ， 图 灵 社 区 目前 为 读者 提供 两 种 
DRM-free 的 阅读 体验 : 在 线 阅读 和 PDF。 

相 比 纸 质 书 ， 电 子 书 具 有 许多 明显 的 优势 。 它 不 仅 发 布 快 ， 更 新 容易 ， 而 且 尽 可 能 采用 了 彩色 图 
片 ( 即 使 有 的 书 纸 质 版 是 黑白 印刷 的 ) 。 读 者 还 可 以 方便 地 进行 搜索 、 剪 贴 、 复 制 和 打印 。 

图 灵 社 区 进一步 把 传统 出 版 流程 与 电子 书 出 版 业务 紧密 结合 ， 目 前 已 实现 作 译 者 网 上 交 稿 、 编 辑 
网 上 审 稿 、 按 章 发 布 的 电子 出 版 模式 。 这 种 新 的 出 版 模式 ， 我 们 称 之 为 “敏捷 出 版 ”， 它 可 以 让 读者 
以 较 快 的 速度 了 解 到 国外 最 新 技术 图 书 的 内 容 ， 弥 补 以 往 翻 译 版 技术 书 “ 出 版 即 过 时 ”的 缺憾 。 同 
时 ， 敏 捷 出 版 使 得 作 、 译 、 编 、 读 的 交流 更 为 方便 ， 可 以 提前 消灭 书稿 中 的 错误 ， 最 大 程度 地 保证 图 
书 出 版 的 质量 。 






















































































优惠 提示 : 现在 购买 电子 书 ， 读 者 将 获 赠 书 款 20% 的 社区 银子 ， 可 用 于 兑换 纸 质 样 书 。 
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图 灵 社 区 向 读者 开放 在 线 写作 功能 ， 协 助 你 实现 自 出 版 和 开源 出 版 的 梦想 。 利 用 “合集 ”功能 ， 
你 就 能 联合 二 三 好 友 共 同 创作 一 部 技术 参考 书 ， BU. ( 收费 形式 须 经 过 
图 灵 社区 立项 评审 。 ) 这 极 大 地 降低 了 出 版 的 门槛 。 只 要 你 有 写作 的 意愿 ， 图 灵 社 区 就 能 帮助 你 实现 
这 个 梦想 。 成 熟 的 书稿 ， 有 机 会 人选 出 版 计划 ， 同 时 出 版 纸 质 书 。 

图 灵 社区 引进 出 版 的 外 文 图 书 ， 都 将 在 立项 后 马上 在 社区 公布 。 如 果 你 有 意 翻 译 哪 本 图 书 ， 欢 迎 
2 ME 只 要 你 通过 试 译 的 考验 ， 即 可 签约 成 为 图 灵 的 译 者 。 当 然 ， 要 想 成 功 地 完成 一 本 书 的 

译 工 作 ， 是 需要 有 坚强 的 角力 的 。 









































交流 平台 




















在 图 灵 社 区 ， 你 可 以 十 分 方便 地 写作 文章、 提交 勘误 、 发 表 评论 ， 以 各 种 方式 与 作 译 者 、 编 辑 人 
员 和 其 他 读者 进行 交流 互动 。 提 交 勘 误 还 能 够 获 赠 社 区 银子 。 
你 可 以 积极 参与 社区 经 常 开 展 的 访谈 、 乐 译 、 评 选 等 多 种 活动 ， 遍 取 积 分 和 银子 ， 积 累 个 人 声望 。 
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